MIT機器人結合視覺和觸覺來學習Jenga的游戲

在麻省理工學院3號樓的地下室，機器人正在仔細考慮下一步行動。它輕輕地戳在一座街區，在一個單獨的，緩慢移動但又令人驚訝的敏捷Jenga游戲中，尋找最好的塊來提取而不會倒塌塔。

該機器人由麻省理工學院的工程師開發，配備了軟指夾，力感腕腕和外部攝像頭，所有這些都用于觀察和感受塔及其各個塊。

當機器人小心地推動一個塊時，計算機會從其相機和袖帶中獲取視覺和觸覺反饋，并將這些測量結果與機器人之前制作的動作進行比較。它還考慮了這些舉措的結果 - 具體而言，是否成功提取了一個塊，在一定的配置中并以一定的力量推動。實時，機器人然后“學習”是否繼續推動或移動到新的區塊，以防止塔架掉落。

Jenga演奏機器人的詳細信息今天發表在Science Robotics期刊上。麻省理工學院機械工程系的Walter Henry Gale職業發展助理教授Alberto Rodriguez說，機器人展示了以前系統中難以實現的一些東西：能夠快速學習執行任務的最佳方式，而不僅僅是從視覺線索，如今通常研究，但也來自觸覺，物理互動。

“與更純粹的認知任務或象棋或圍棋等游戲不同，玩Jenga游戲還需要掌握物理技能，如探測，推動，拉動，放置和對齊棋子。它需要交互式感知和操作，你必須去觸摸塔，以了解如何以及何時移動塊，“羅德里格茲說。“這很難模擬，所以機器人必須通過與真正的Jenga塔相互作用來學習現實世界。關鍵的挑戰是通過利用關于物體和物理的常識來從相對少量的實驗中學習。“

他說，研究人員開發的觸覺學習系統可以用于Jenga以外的應用，尤其是需要仔細物理交互的任務，包括將可回收物體與垃圾填埋垃圾分離以及組裝消費品。

羅德里格斯說：“在手機組裝線上，幾乎每一個步驟中，卡扣式或螺紋式螺絲的感覺都來自力而觸摸，而不是視覺。” “為這些行動學習模型是這種技術的主要動態。”

該論文的第一作者是麻省理工學院的研究生Nima Fazeli。該團隊還包括Miquel Oller，Jiajun Wu，Zheng Wu和麻省理工學院大腦和認知科學教授Joshua Tenenbaum。

推和拉

在用于“建造”的Jenga - Swahili游戲中 - 54個矩形塊被堆疊成18層，每層三塊，每層中的塊垂直于下面的塊。游戲的目的是小心地提取一個塊并將其放置在塔頂，從而建立一個新的水平，而不是推翻整個結構。

為了編程機器人來玩Jenga，傳統的機器學習方案可能需要捕獲塊，機器人和塔之間可能發生的所有事情 - 這是一項昂貴的計算任務，需要數千甚至數萬次塊提取嘗試的數據。

相反，Rodriguez和他的同事們尋找一種更有效的方法，讓機器人學會玩Jenga，靈感來自人類的認知以及我們自己可能接近游戲的方式。

該團隊定制了一個符合行業標準的ABB IRB 120機器人手臂，然后在機器人范圍內設置了一個Jenga塔，并開始了一個訓練期，其中機器人首先選擇一個隨機區塊和一個位于該區域上的位置以進行推動。然后它施加少量的力以試圖將塊推出塔外。

對于每次塊嘗試，計算機記錄相關的視覺和力測量，并標記每次嘗試是否成功。

該機器人不是進行數萬次這樣的嘗試(其中涉及重建塔幾乎一樣多次)，而是在大約300次訓練中進行訓練，嘗試將類似測量和結果分組成代表某些塊行為的簇。例如，一個數據集群可能代表對難以移動的塊的嘗試，而不是一個更容易移動的塊，或者在移動時推翻了塔。對于每個數據集群，機器人開發了一個簡單的模型，以根據當前的視覺和觸覺測量來預測塊的行為。

Fazeli說這種聚類技術大大提高了機器人學習玩游戲的效率，并且受到人類聚類相似行為的自然方式的啟發：“機器人構建聚類，然后為每個聚類學習模型，而不是學習一個模型，捕捉絕對可能發生的一切。“

疊起來

研究人員使用模擬器MuJoCo在游戲的計算機模擬中測試了他們對其他最先進的機器學習算法的方法。在模擬器中學到的經驗告訴研究人員機器人在現實世界中學習的方式。

“我們為這些算法提供了我們系統獲得的相同信息，以了解他們如何學習如何在相似的水平上玩Jenga，”Oller說。“與我們的方法相比，這些算法需要探索數量級更多的塔來學習游戲。”

好奇的是，他們的機器學習方法如何與真正的人類玩家相媲美，團隊與幾名志愿者進行了一些非正式的試驗。

“我們看到人類在塔樓倒塌之前能夠提取多少塊，而且差別并不大，”奧勒說。

但是，如果研究人員想要將他們的機器人與人類玩家競爭對手，那么還有一段路可走。除了物理交互之外，Jenga還需要一些策略，比如提取正確的區塊，這將使對手難以在不翻倒塔的情況下拉出下一個區塊。

目前，該團隊對開發機器人Jenga冠軍不太感興趣，而更專注于將機器人的新技能應用于其他應用領域。

羅德里格茲說：“我們用手做了許多任務，用'正確的方式'來做這件事的感覺來自于力量和觸覺線索的語言。” “對于像這樣的任務，我們的類似方法可以解決這個問題。”