局部場景中對象定位的空間常識圖

未觀察到的物體的定位是一項對許多自動化應用很有用的任務，例如幫助視力受損的人尋找日常物品或視覺搜索具身代理。人類不僅使用部分觀察到的環境，而且依靠常識知識來執行這項任務。例如，知道枕頭經常靠近床，我們可以推斷枕頭的下落。

arXiv.org最近的一篇論文提出了空間常識圖(SCG)，這是一種新的場景圖表示。它具有異構節點和邊緣，將常識知識與對象的空間鄰近性嵌入在一起。

為了解決定位問題，提出了SCGObjectLocaliser。首先，估計看不見的物體和所有已知物體之間的距離。然后，它們用于基于圓形交叉點的定位。

我們解決了部分場景中的對象定位問題，這是一個在給定場景的部分3D掃描的情況下估計對象的未知位置(例如包在哪里?)的新問題。所提出的解決方案基于一種新穎的場景圖模型，即空間常識圖(SCG)，其中對象是節點，邊定義了它們之間的成對距離，并通過常識知識庫中的概念節點和關系進行了豐富。這使得SCG能夠更好地概括其對未知3D場景的空間推斷。SCG用于通過兩個步驟估計目標對象的未知位置：首先，我們將SCG輸入一個新穎的ProximityPredictionNetwork，這是一種使用注意力來執行表示目標對象的節點與目標對象之間的距離預測的圖神經網絡。表示SCG中觀察到的對象的節點;第二，我們提出了一個基于圓形相交的定位模塊，以使用所有預測的成對距離來估計對象位置，以便獨立于任何參考系統。我們創建了一個部分重建場景的新數據集，以對我們的方法和部分場景中目標定位的基線進行基準測試，其中我們提出的方法實現了最佳定位性能。