軟件可以在虛擬現實中控制機器人

即使自主機器人在自己做事方面做得更好，仍然會有很多情況下人類可能需要介入并控制。由布朗大學計算機科學家開發的新軟件使用戶能夠使用虛擬現實遠程控制機器人，這可以幫助用戶沉浸在機器人周圍的環境中，盡管身體距離很遠。

該軟件通過互聯網將機器人的手臂和夾具以及車載攝像頭和傳感器連接到現成的虛擬現實硬件。使用手持式控制器，用戶可以通過移動自己的手臂來控制機器人手臂的位置，以執行復雜的操作任務。用戶可以進入機器人的金屬皮膚并獲得第一人稱環境視圖，或者可以在機器人周圍走動以第三人稱測量場景 - 無論哪個更容易完成手頭的任務。在機器人和虛擬現實單元之間傳輸的數據足夠緊湊，可以通過互聯網以最小的延遲發送，使用戶可以遠距離引導機器人。

“我們認為這可能對我們需要做一些靈巧操作的任何情況都有用，但人們不應該這樣做，”布朗的研究生大衛惠特尼說，他是該系統開發的共同領導者。“我們特別想到的三個例子是拆除炸彈，在受損的核設施內工作或在國際空間站上操作機器人手臂。”

惠特尼與布朗的本科學生埃里克羅森共同領導了這項工作。兩人都在Brown的人類到機器人實驗室工作，該實驗室由計算機科學助理教授Stefanie Tellex領導。本周在智利機器人研究國際研討會上發表了一篇描述該系統并評估其可用性的論文。

即使是高度復雜的機器人也經常使用一些相當簡單的手段進行遠程控制 - 通常是鍵盤或類似視頻游戲控制器和二維顯示器。惠特尼和羅森說，這對于駕駛輪式機器人或駕駛無人機等任務很有效，但對于更復雜的任務可能會有問題。

“對于像操作具有很多自由度的機器人手臂這樣的東西，鍵盤和游戲控制器并不是非常直觀，”惠特尼說。將三維環境映射到二維屏幕上可能會限制人們對機器人居住空間的感知。

Whitney和Rosen認為虛擬現實可能提供更直觀和沉浸式的選擇。他們的軟件將Baxter研究機器人與HTC Vive連接在一起，HTC Vive是一個帶有手動控制器的虛擬現實系統。該軟件使用機器人的傳感器創建機器人本身及其周圍環境的點云模型，并將其傳輸到連接到Vive的遠程計算機。用戶可以看到耳機中的空間，并在其內部虛擬走動。同時，用戶可以從機器人的手腕攝像頭看到實時高清視頻，以獲取要執行的操作任務的詳細視圖。

對于他們的研究，研究人員表明，他們可以為用戶創造身臨其境的體驗，同時保持數據負載足夠小，以便可以通過互聯網傳輸，而不會產生分散注意力的延遲。例如，位于羅得島州普羅維登斯的用戶能夠使用位于馬薩諸塞州劍橋市41英里外的機器人執行操作任務 - 將塑料杯堆疊在另一個內部。

在其他研究中，與傳統的鍵盤和顯示器界面相比，18位新手用戶能夠在虛擬現實中完成杯子堆疊任務66%的速度。用戶還報告說更多地享受虛擬界面，他們發現與鍵盤和顯示器相比，操作任務要求更低。

羅森認為，執行任務的速度提高是由于虛擬現實界面的直觀性。

“在虛擬現實中，人們可以像移動他們的身體一樣移動機器人，因此他們可以在不考慮它的情況下完成它，”羅森說。“這讓人們可以專注于手頭的問題或任務，而不會增加認知負荷，試圖找出如何移動機器人。”

研究人員計劃繼續開發該系統。第一次迭代主要關注一個相當簡單的操作任務，其中機器人在環境中是靜止的。他們想嘗試更復雜的任務，然后將操作與導航結合起來。他們還想嘗試混合自治，其中機器人自己完成一些任務，用戶接管其他任務。