不僅是眼睛耳朵也可以改善機器人的感知能力

人們很少使用一種感覺來理解世界，但是機器人通常僅依靠視覺，并且越來越多地依靠觸摸。卡內基梅隆大學的研究人員發現，通過增加另一種感覺：聽覺，機器人的知覺可以顯著改善。他們說，這是對聲音與機器人動作之間相互作用的首次大規模研究，CMU機器人研究所的研究人員發現，聲音可以幫助機器人區分物體，例如金屬螺絲刀和金屬扳手。聽力還可以幫助機器人確定引起聲音的動作類型，并幫助他們使用聲音預測新對象的物理屬性。

最近獲得博士學位的萊雷爾·平托說：“在其他領域的許多初步工作表明，聲音可能有用，但尚不清楚它在機器人技術中有多有用。” 在CMU的機器人專業學習，并將于今年秋天加入紐約大學。他和他的同事發現，使用聲音的機器人成功地將對象分類的概率高達76%，因此其性能很高。

他補充說，結果是如此令人鼓舞，以至于為將來的機器人配備帶工具的拐杖可能會很有用，使他們能夠輕敲他們想要識別的物體。

研究人員在上個月的虛擬機器人科學與系統會議上介紹了他們的發現。其他團隊成員包括機器人技術副教授Abhinav Gupta，以及前碩士研究生Dhiraj Gandhi，他現在是Facebook AI Research匹茲堡實驗室的研究科學家。

為了進行研究，研究人員創建了一個大型數據集，同時記錄了60個常見物體(例如玩具塊，手動工具，鞋子，蘋果和網球)的視頻和音頻，當它們在托盤上滑動或滾動并撞向其側面時。此后，他們發布了該數據集，對15,000個交互進行了分類，以供其他研究人員使用。

該團隊使用一種稱為Tilt-Bot的實驗設備(與Sawyer機器人的手臂相連的方形托盤)捕獲了這些互動。這是建立大型數據集的一種有效方式; 他們可以在托盤中放置一個物體，并讓Sawyer花幾個小時在隨機方向上移動托盤，并以不同的傾斜度移動攝像機和麥克風記錄每個動作。

他們還使用Sawyer將物體推入表面，從而在托盤之外收集了一些數據。

盡管該數據集的規模是空前的，但其他研究人員還研究了智能主體如何從聲音中收集信息。例如，機器人學助理教授奧利弗·克魯默(Oliver Kroemer)領導了一項研究，即通過搖晃容器或從鏟子中估計這些物質的流量，使用聲音來估計諸如大米或面食之類的顆粒物質的量。

平托說，聲音對機器人的有用性也就不足為奇了，盡管他和其他人對聲音的實用性感到驚訝。他們發現，例如，機器人可以利用從一組對象的聲音中學到的知識來預測以前看不見的對象的物理特性。

他說：“我認為真正令人興奮的是，當它失敗時，它將在您期望失敗的事情上失敗。” 例如，機器人無法使用聲音來分辨紅色塊或綠色塊之間的差異。“但是，如果它是一個不同的物體，例如一個砌塊與一個杯子，它可能會弄清楚。”