具有基于物理的變形模型的模板形狀

shape-from-template (SfT) 的目標是在給定已知初始狀態的情況下重建 3D 可變形表面的整個圖像序列。然而，大多數當前方法無法捕獲精細的局部表面變形。

最近發表在 arXiv.org 上的一篇論文提出了一種新的綜合分析 SfT 方法，該方法解決了當前技術水平的幾個限制，并顯著提高了重建的準確性。

研究人員指出，當前該領域的挑戰是由于不了解物理褶皺形成過程的結果。因此，所提出的方法明確地模擬了這個過程，并且它的參數在物理上是有意義的。此外，差分渲染能夠利用紋理中存在的信息，而不管網格分辨率如何。

實驗表明，所提出的方法比基線更準確，并且支持更精細的局部折疊。

Shape-from-Template (SfT) 方法從單個單目 RGB 相機估計 3D 表面變形，同時假設預先知道的 3D 狀態(模板)。由于單眼設置的約束不足，這是一個重要但具有挑戰性的問題。現有的 SfT 技術主要使用幾何和簡化的變形模型，這往往限制了它們的重建能力。與以前的工作相比，本文提出了一種新的 SfT 方法，通過考慮力和材料特性的物理模擬來解釋 2D 觀察結果。我們的微分物理模擬器使表面演變規律化并優化材料彈性特性，例如彎曲系數、拉伸剛度和密度。我們使用可微分渲染器來最小化估計的 3D 狀態和輸入圖像之間的密集重投影誤差，并使用基于自適應梯度的優化來恢復變形參數。為了評估，我們使用 RGB-D 相機記錄暴露于具有各種材料特性和紋理的物理力的真實表面。與多種競爭方法相比，我們的方法顯著降低了 3D 重建誤差。源代碼和數據見 與多種競爭方法相比，我們的方法顯著降低了 3D 重建誤差。源代碼和數據見 與多種競爭方法相比，我們的方法顯著降低了 3D 重建誤差。