麻省理工學院CSAIL使用AI教授機器人操縱他們以前從未見過的物體

人工智能(AI)比機器人技術更徹底地改造了很少的領域。總部位于舊金山的創業公司OpenAI開發了一個模型，指導機械手以最先進的精度操縱物體，Softbank Robotics最近利用情感分析公司Affectiva為其Pepper機器人注入情商。

最新進展來自麻省理工學院計算機科學與人工智能實驗室(CSAIL)的研究人員，他們今天在一篇論文(“ 密集對象網：學習密集視覺對象

描述符和應用于機器人操作”)中詳述了計算機視覺系統。 - 被稱為密集對象網 - 允許機器人檢查，視覺理解和操縱他們以前從未見過的物體。

該團隊計劃于10月在瑞士蘇黎世召開的機器人學習會議上展示他們的研究成果。

“許多操縱方法無法識別對象可能遇到的多個方向的特定部分，”該論文的第一作者，博士生Lucas Manuelli在麻省理工學院CSAIL網站上發表的博客文章中表示。“例如，現有的算法無法通過手柄抓住馬克杯，特別是如果馬克杯可能處于多個方向，如直立或側面。

DON不是控制系統。相反，它是一種自我監督的深度神經網絡 - 分層算法，模仿大腦中神經元的功能 - 經過訓練，以精確坐標的形式生成對象的描述。在訓練之后，它能夠自主地挑選出參考框架，并且當呈現新物體時，將它們一起映射以在三維中可視化它們的形狀。

根據研究人員的說法，對象描述符平均需要20分鐘才能學習，并且它們與任務無關 - 也就是說，它們適用于剛性物體(如帽子)和非剛性物體(長毛絨)玩具)。(在一輪訓練中，系統在僅看到六種不同類型之后就學會了帽子的描述。)

此外，盡管對象顏色，紋理和形狀存在差異，但描述符仍保持一致，這使得DON在使用RGB或深度數據的模型上占了一席之地。因為后者沒有一致的對象表示并且有效地尋找“可抓取的”特征，所以它們在具有甚至輕微變形的對象上找不到這樣的點。

“在工廠中，機器人通常需要復雜的零件供料器才能可靠地工作，”Manuelli說。“但是像這樣能夠理解物體方向的系統可以拍攝照片，并能夠相應地掌握和調整物體。”

在測試中，團隊在參考圖像中選擇了一個像素，供系統自動識別。然后他們使用Kuka手臂孤立地抓住物品(毛毛蟲玩具)，特定類別中的物品(不同種類的運動鞋)，雜物中的物體(穿著其他鞋子的鞋子)。

在一次演示中，盡管從未在訓練數據中看到帽子的照片，機器人手臂設法從一堆類似的帽子中抓出一頂帽子。另一方面，它從一系列配置中抓住了毛毛蟲玩具的右耳，證明它可以在對稱物體上區分左右。

“我們觀察到，對于各種各樣的物體，我們可以獲得在視點和配置上一致的密集描述符，”研究人員寫道。“各種物體包括適度變形的物體，例如柔軟的毛絨玩具，鞋子，馬克杯和帽子，并且可以包括非常低質感的物體。其中許多物品都是從實驗室周圍抓取的(包括作者和同事的鞋子和帽子)，我們對各種物體印象深刻，可以用相同的網絡架構可靠地學習一致的密集視覺模型。訓練。”

該團隊認為DON可能在工業環境中很有用(想想物體分類倉庫機器人)，但它希望開發一個更強大的版本，可以通過“更深入地理解”相應的對象來執行任務。

研究人員寫道：“我們認為密集物體網是一種新穎的物體表現形式，可以實現機器人操作的許多新方法。” “我們有興趣探索解決操縱問題的新方法，這些問題利用了學習密集描述符提供的密集視覺信息，以及[看到]這些密集描述符如何有益于其他類型的機器人學習，例如學習如何掌握，操縱和放置一組感興趣的物體。