使用自適應手指和合成數據訓練的對象檢測來抓取雜亂的食物

食品包裝行業對自動化的需求不斷增長;然而，由于所處理食品類型的顯著多樣性以及形狀和大小的顯著差異，阻礙了這一進展。arXiv.org最近的一項研究建議使用模擬中生成的合成數據，使用真實食物的高度逼真的3D模型來訓練實例分割模型。

研究人員應用sim2real和域隨機化的思想，使經過合成數據訓練的模型無需額外訓練即可轉移到現實世界。這能夠避免收集注釋的成本和困難。

研究人員還處理食品易碎的問題。他們提出了一種新的自適應手指機制，當它遇到食物表面時會被動縮回，并提出了一種抓取過濾啟發式方法，可以過濾可能損壞鄰近食物的危險抓取候選物。

食品包裝行業處理種類繁多、形狀和尺寸各異的食品，即使是在一種食品中也是如此。菜單也多種多樣且經常變化，使得拾取和放置的自動化變得困難。一種流行的分箱方法是首先使用實例分割方法識別托盤中的每一塊食物。然而，訓練這些方法的人工注釋是不可靠且容易出錯的，因為食物被緊密包裝在一起，邊界不明確，視覺相似性使得碎片難以分離。為了解決這個問題，我們提出了一種方法，該方法完全基于合成數據進行訓練，并使用sim2real方法成功轉移到現實世界，方法是使用高質量的真實食物3d模型為訓練實例分割模型創建填充食物托盤的數據集。另一個問題是食物在抓取過程中很容易損壞。我們通過引入兩種額外的方法來解決這個問題——一種新的自適應手指機制，當發生碰撞時被動縮回，以及一種過濾在抓取過程中可能對相鄰食物塊造成損壞的抓取的方法。我們證明了所提出的方法在幾種真實食物上的有效性。