用于視覺環境重建的人類感知對象放置

人體和周圍場景幾何的3D重建可以促進人類行為分析。反過來，它可用于預測以人為中心的AI和機器人的未來運動和交互，或為AR/VR合成這些。然而，目前還沒有從單色相機的圖像中估計場景和人物的方法。

最近發表在arXiv.org上的一篇論文介紹了MOVER(用于視覺環境重建的人類運動驅動對象放置)。它利用跨多個人與場景交互(HSI)幀的信息來估計合理的3D場景和與場景交互的移動人體。

結果表明，從單目視頻計算得出的累積HSI可用于改進場景的3D重建和3D人體姿態估計。與最先進的比較表明，MOVER可以估計更準確和逼真的3D場景布局。

人類在穿越世界并與之互動時，會不斷地與世界接觸。這種聯系是了解3D人類、3D場景以及它們之間的交互的重要信息來源。事實上，我們證明可以利用這些人景交互(HSI)來改進單目RGB視頻中場景的3D重建。我們的關鍵思想是，當一個人在場景中移動并與之交互時，我們會在多個輸入圖像中累積HSI，并優化3D場景以重建一致、物理上合理且功能強大的3D場景布局。我們基于優化的方法利用了三種類型的HSI約束：(1)在場景中移動的人被遮擋或遮擋對象，因此，定義了對象的深度排序，(2)人在自由空間中移動，不與物體相互穿透;(3)人與物體接觸時，接觸面在空間中占據相同的位置。在所有觀察結果的優化公式中使用這些約束，我們顯著改進了3D場景布局重建。此外，我們表明我們的場景重建可用于改進初始3D人體姿勢和形狀(HPS)估計。我們使用PROX和PiGraphs數據集定性和定量地評估3D場景布局重建和HPS估計。代碼和數據可用于研究目的我們顯著改進了3D場景布局重建。此外，我們表明我們的場景重建可用于改進初始3D人體姿勢和形狀(HPS)估計。我們使用PROX和PiGraphs數據集定性和定量地評估3D場景布局重建和HPS估計。代碼和數據可用于研究目的我們顯著改進了3D場景布局重建。此外，我們表明我們的場景重建可用于改進初始3D人體姿勢和形狀(HPS)估計。我們使用PROX和PiGraphs數據集定性和定量地評估3D場景布局重建和HPS估計。代碼和數據可用于研究目的這個https網址。