新方法允許機器人視覺識別被遮擋的物體

當人工智能系統遇到物體不完全可見的場景時，它們必須僅根據物體的可見部分進行估計。這種部分信息會導致檢測錯誤，并且需要大量的訓練數據才能正確識別此類場景。現在，光州科學技術研究所的研究人員開發了一個框架，可以讓機器人視覺成功地檢測到這些物體，就像我們感知它們一樣

機器人視覺已經取得了長足的進步，在復雜和苛刻的任務中的應用達到了一定程度，例如自動駕駛和物體操縱。但是，它仍然難以識別雜亂場景中的單個對象，其中一些對象部分或完全隱藏在其他對象后面。通常，在處理此類場景時，機器人視覺系統被訓練為僅基于其可見部分來識別被遮擋對象。但是這樣的訓練需要大量的對象數據集，并且可能非常乏味。

副教授 Kyoobin Lee 和博士 來自韓國光州科技學院 (GIST) 的學生 Seunghyeok Back 在開發人工智能系統以識別和分類雜亂場景中的物體時發現自己面臨著這個問題。“我們希望機器人能夠識別和操作他們以前沒有遇到過或經過訓練無法識別的物體。然而，實際上，我們需要手動收集和標記數據，因為深度神經網絡的泛化性在很大程度上取決于質量和訓練數據集的數量，”Back 先生說。

在 2022 年 IEEE 國際機器人與自動化會議上接受的一項新研究中，由 Lee 教授和 Back 先生領導的研究團隊開發了一種名為“unseen object amodal instance segmentation”(UOAIS)的模型，用于檢測雜亂場景中的遮擋對象。為了訓練模型識別物體幾何形狀，他們開發了一個數據庫，其中包含 45,000 張包含深度信息的逼真合成圖像。有了這個(有限的)訓練數據，模型就能夠檢測到各種被遮擋的物體。在遇到雜亂的場景時，它首先挑選出感興趣的對象，然后通過將對象分割成“可見蒙版”和“模態蒙版”來確定該對象是否被遮擋。

研究人員對結果感到興奮。“以前的方法僅限于僅檢測特定類型的對象或僅檢測可見區域而無需明確推理遮擋區域。相比之下，我們的方法可以像人類視覺系統一樣推斷遮擋對象的隱藏區域。這可以減少數據收集工作，同時提高復雜環境中的性能，”Back 先生評論道。

為了在他們的系統中啟用“遮擋推理”，研究人員引入了“分層遮擋建模”(HOM)方案，該方案為多個提取特征及其預測順序的組合分配了一個層次結構。通過針對三個基準測試他們的模型，他們驗證了 HOM 方案的有效性，該方案實現了最先進的性能。

研究人員對他們的方法的未來前景充滿希望。“在雜亂的環境中感知看不見的物體對于模態機器人操作至關重要。我們的 UOAIS 方法可以作為這方面的基線，”Back 先生說。