研究使機器人更好地遵循口頭指示

基于布朗大學計算機科學家研究的新系統使機器人能夠更好地遵循口頭指令，無論這些指令有多抽象或具體。本周在波士頓舉行的機器人：科學與系統2017年會議上展示的這一發展是向機器人邁出的一步，這些機器人能夠與人類合作者進行更加無縫的溝通。

這項研究由Dilip Arumugam和Siddharth Karamcheti領導，兩位都是布朗的本科生(Arumugam現在是布朗研究生)。他們與研究生Nakul Gopalan和博士后研究員Lawson LS Wong一起在布朗的計算機科學教授Stefanie Tellex的實驗室工作。

“我們正在解決的問題是語言基礎，這意味著讓機器人采用自然語言命令并生成成功完成任務的行為，”Arumugam說。“問題在于命令可能具有不同的抽象級別，這可能導致機器人無法有效地規劃其行為或根本無法完成任務。”

例如，想象一個倉庫中有人與機器人叉車并排工作。這個人可能會對機器人伙伴說：“抓住托盤。” 這是一個高度抽象的命令，暗示了一些較小的子步驟 - 排列升降機，將叉子放在下面并將其吊起。但是，其他常見命令可能更細粒度，只涉及一個動作：例如，“將叉子向后傾斜一點”。

研究人員表示，這些不同的抽象層次可能會導致當前機器人語言模型出現問題。大多數模型嘗試從命令中的單詞以及句子結構中識別提示，然后從該語言推斷出所需的動作。然后，推斷結果觸發嘗試解決任務的計劃算法。但是，如果不考慮指令的特殊性，機器人可能會過度規劃簡單的指令，或者計劃更多涉及更多子步驟的抽象指令。在機器人采取行動之前，這可能導致不正確的操作或過長的計劃延遲。

但是這個新系統為現有模型增加了額外的復雜程度。除了簡單地從語言推斷出期望的任務之外，新系統還分析語言以推斷出不同的抽象級別。

“這使我們能夠將我們的任務推理以及推斷的特異性水平與層級規劃器相結合，因此我們可以在任何抽象層面進行規劃，”Arumugam說。“反過來，與現有系統相比，我們可以在執行任務時獲得顯著的性能提升。”

為了開發他們的新模型，研究人員使用了亞力克斯的眾包市場Mechanical Turk和一個名為Cleanup World的虛擬任務域。在線域包括一些顏色編碼的房間，機器人代理和可以操作的對象 - 在這種情況下，椅子可以從一個房間移動到另一個房間。

Mechanical Turk志愿者觀察機器人代理在清理世界領域執行任務 - 例如，將椅子從紅色房間移動到相鄰的藍色房間。然后，志愿者被要求說出他們給機器人的指示，讓他們執行他們剛看到的任務。為志愿者提供指導，指導他們的指導應具有的特異性。指示范圍從高級：“把椅子帶到藍色房間”到逐步級別：“向北走五步，向右轉，再走兩步，走到椅子上，左轉，左轉，走五向南走。“ 第三級抽象使用了這兩者之間的術語。

研究人員使用志愿者的口頭指示來訓練他們的系統，以了解在每個抽象層次中使用了哪些詞。從那里，系統學會了不僅推斷所需的動作，而且推斷命令的抽象級別。知道這兩件事后，系統就可以觸發其分層規劃算法，從適當的級別解決任務。

在對系統進行培訓后，研究人員在虛擬清理世界和在類似于清理世界空間的物理世界中運行的實際類似Roomba的機器人進行了測試。他們表明，當機器人能夠推斷出任務和指令的特殊性時，它會在90%的時間內在一秒內響應命令。相比之下，當沒有推斷出特異性水平時，所有任務中有一半需要20秒或更長的計劃時間。

“我們最終希望看到機器人在我們的家庭和工作場所中成為有用的合作伙伴，”專門從事人機協作的Tellex說。“這項工作是朝著讓人們與機器人進行溝通的目標邁出的一步，就像我們彼此溝通一樣。”