訓練機器人操縱柔軟和可變形的物體

機器人可以解決魔方并在火星崎嶇的地形中航行，但它們在做一些簡單的任務時會遇到困難，比如搟一塊面團或處理一雙筷子。即使擁有大量數據、清晰的指示和廣泛的培訓，他們也很難完成孩子輕松完成的任務。

新的模擬環境PlasticineLab旨在讓機器人學習更加直觀。通過將物理世界的知識構建到模擬器中，研究人員希望能夠更容易地訓練機器人來操縱現實世界中經常彎曲和變形而不會恢復其原始形狀的物體和材料。該模擬器由麻省理工學院、麻省理工學院-IBM沃森人工智能實驗室和加州大學圣地亞哥分校的研究人員開發，于5月在國際學習代表大會上發布。

在PlasticineLab中，機器人代理學習如何通過在模擬中操縱各種軟物體來完成一系列給定的任務。在RollingPin中，目標是通過按壓或用大頭針將面團壓平;在繩索中，將繩索纏繞在柱子上;在筷子中，拿起一根繩子并將其移動到目標位置。

他們說，研究人員通過將世界的物理知識嵌入到模擬器中，訓練他們的代理以比在強化學習算法下訓練的代理更快地完成這些和其他任務，這使他們能夠利用基于梯度下降的優化技術來找到最好的解決方案。

“將物理基礎知識編程到模擬器中可以提高學習過程的效率，”該研究的主要作者黃志奧說，他曾是麻省理工學院-IBM沃森人工智能實驗室的實習生，現在是一名博士。加州大學圣地亞哥分校的學生。“這讓機器人對現實世界有更直觀的感覺，這個世界充滿了生物和可變形的物體。”

“機器人可能需要數千次迭代才能通過強化學習的試錯技術來掌握一項任務，這種技術通常用于在模擬中訓練機器人，”該工作的資深作者、IBM研究員ChuangGan說.“我們表明，通過學習一些物理知識可以更快地完成它，這允許機器人使用基于梯度的規劃算法來學習。”

PlasticineLab通過一種名為Taichi的圖形編程語言將基本物理方程烘焙到其中。太極拳和PlasticineLab所基于的早期模擬器ChainQueen都是由研究合著者胡元明開發的。通過使用基于梯度的規劃算法，PlasticineLab中的代理能夠不斷地將其目標與它在該點所做的動作進行比較，從而更快地進行路線修正。

“我們可以通過反向傳播找到最佳解決方案，這與用于訓練神經網絡的技術相同，”該研究的共同作者、博士陶杜說。麻省理工學院的學生。“反向傳播為代理提供了更新其操作以更快地達到其目標所需的反饋。”

這項工作是賦予機器人更多常識的持續努力的一部分，以便它們有朝一日能夠在現實世界中烹飪、清潔、折疊衣物以及執行其他平凡的任務。