NVIDIA在西雅圖推出新機器人實驗室

NVIDIA在機器人方面并不是特別出名，但即將發生變化。就在幾個星期前，NVIDIA在西雅圖建立了一個閃亮的新機器人研究實驗室，在華盛頓大學輕松漫步。NVIDIA AI機器人研究實驗室由華盛頓大學計算機科學與工程教授Dieter Fox領導，最終將成長為“近50名研究科學家，教師訪客和學生實習生。”NVIDIA的目標是幫助機器人制造在實驗室工作的艱難過渡只需要足夠長的時間就能以可靠和有用的方式發表論文，在現實世界中進行研究。

“該實驗室的章程旨在推動突破性的機器人研究，使下一代執行復雜操作任務的機器人能夠安全地與人類一起工作，并改變制造，物流，醫療保健等行業。”

以下是新實驗室的簡短視頻介紹，讓您了解事物的外觀：

視頻中的移動操縱器是安裝在NVIDIA開發平臺頂部的Franka Emika的Panda臂。計劃是最終將機器人升級為雙臂，可能是全向基座，并且肯定是更集成的傳感器。特別是傳感器是NVIDIA想要關注的關鍵，這使得機器人可以安全有效地在人類周圍工作。但是，有許多研究用于制造有用的人性化機器人：抓取，操縱，計算機視覺，物體識別，人機交互和協作 - 公司有很多工作要做。

迪特福克斯

照片：NVIDIA

NVIDIA的新機器人實驗室由Dieter Fox領導，Dieter Fox也是西雅圖華盛頓大學的計算機科學與工程教授。

有關NVIDIA解決所有這些機器人挑戰的方法的更多細節，我們采訪了 NVIDIA機器人研究高級主管 Dieter Fox。

IEEE Spectrum：華盛頓大學有一個很棒的機器人計劃。使用NVIDIA進行研究時，情況會有何不同?

迪特爾福克斯： 我們想要做的研究和我們想要遵循的研究哲學的動機是，作為一名學者，我們所擁有的那種出版模式有時會令人沮喪。對于經營多年并整合不同研究優勢的大型項目來說，這不太合適。您通常看到的是您的博士生寫了一篇論文，它被接受了，然后我告訴學生，“好吧，現在讓我們將它集成到我們更大的機器人系統中，讓它在現實世界中真正發揮作用。” 當然，學生說：“我真的不想這樣做，因為我無法發表它。” 這種出版模式強烈鼓勵學生轉向一個新問題 - 沒有強烈的鼓勵讓它真正發揮作用。對于學生來說

為什么要將廚房作為研究環境?

我們希望用它來推動我們的研究。我相信廚房是一個如此豐富，充滿挑戰的環境，如果我們無法解決廚房中的所有任務，那么我們將無法解決其他領域也出現的類似問題，例如制造或衛生保健。因此，我們的想法是使用這個廚房挑戰自己設計和制造可以解決任務的機器人。

現在，缺乏一個商定的環境，人們可以在其中測試和比較他們的操縱系統。我認為廚房，例如世界上幾乎標準化的宜家廚房，你可以想象機器人實驗室只需購買自己的廚房并進行自己的研究，然后將他們的機器人和能力相互比較。

NVIDIA的優勢之一是模擬。在什么情況下，您認為模擬對于機器人技術最有用，在什么情況下它不太有用?您如何在模擬成功與現實世界成功之間進行轉換?

我認為有關如何使用模擬器的不同應用領域。模擬器的一個用途是，如果您只是想測試或調試您的系統，我認為這非常有用。您還可以測試您不希望在現實世界中進行的場景，例如人機交互，盡管這仍然是一項開放性研究 - 我們如何模擬人?為了真正模擬一個人的行為，我們真的無法做到這一點。另一種方法是虛擬現實，您可以將真人置于虛擬環境中，并且該人可以與機器人進行交互。如果你有兩個人，你可以收集一個機器人的訓練數據，其中一個人在VR中控制機器人，另一個人在VR中模仿一個人 - 我認為這將是一個非常令人興奮的應用領域。

在機器學習領域，有一點需要注意的是，一些模擬場景有些過于簡單，并沒有真正反映現實世界中真實機器人的復雜性，所以我認為我們必須小心看模擬中的任務我們感覺到比如實際上反映了我們對真實機器人的挑戰。例如，我們使用模擬來訓練我們的物體檢測系統。你有一個攝像頭圖像，讓我們說你知道機器人想要檢測一個咖啡杯。如果我們有一個咖啡杯的模型，我們可以在模擬中使用合成數據訓練深度神經網絡，并且在現實世界中非常有效。這真是太神奇了，我很驚訝這些東西如何推廣。關鍵技巧是在你的模擬器中，

問題是你的模擬器不知道現實世界的所有參數。這意味著如果我們現在將我們學到的策略應用于真實的機器人，它通常會失敗。所以在我們的研究中，我們在模擬中訓練一個策略，隨機化物理參數，然后我們在現實世界中嘗試它，而這很可能會失敗。但是我們使用我們在這個真實世界試驗中生成的數據來改變模擬中物理參數的隨機化，然后我們可以返回并訓練一個更強大的策略。我們只使用現實世界來更好地隨機化模擬中的參數。

因此，我完全同意這是一個非常重要的問題，但我認為研究界已經意識到這一點，我們正在努力使其更好，更好地運作。

NVIDIA的創始人兼首席執行官Jensen Huang與ABB YuMi進行了互動，旨在跟蹤一個人的行動。

照片：NVIDIA

NVIDIA創始人兼首席執行官Jensen Huang與ABB YuMi雙臂機器人進行交互，該機器人可以模仿一個人的手勢。

你提到模擬對于物體識別和訓練掌握非常有用，但其中一個重要問題是廚房的位置如何從一個家到另一個家。如果您的新廚房機器人配備了一整套菜肴，您的機器人知道如何識別和如何識別它會更容易嗎?是否正在適應我們的生活，使機器人的工作變得更加容易?

一方面，一位研究人員可能會說，“你們瘋了，因為你需要整個廚房的三維模型，這是不現實的，因為每個人都必須測量他們的廚房。” 但是，我堅信在不久的將來，如果你為你的廚房購買任何類型的家具或任何東西，那些東西應該有自己的3D模型。這些公司有3D模型的東西，因為他們需要它們用于制造; 他們為什么不應該被機器人使用呢?

從研究的角度來看，我也雄心勃勃地相信機器人應該能夠在不需要這些模型的情況下解決這些任務。例如，如果你進入你鄰居的廚房，你想要一個叉子，你不需要廚房的3D模型，你做的是找到一個抽屜，識別手柄的位置，你只需要拉在上面。我們人類能夠非常強大地完成這些事情，而這正是我們在研究方面正在研究的事情 - 我們正在努力讓機器人完成這項工作。

所以我們試圖雙管齊下 - 利用所有這些模型，但同時，通過我們的研究調查如何在沒有這些模型的情況下使其工作。

可以使用多少硬件來幫助解決抓取挑戰，以及掌握多少軟件問題?

這是我們需要的兩者的共同演化。您需要聯合查看軟件和硬件，而不是獨立查看。在硬件方面還有很多必須要做的開發; 例如，觸摸感應是一項關鍵功能，可幫助人類執行手動操作任務，甚至以更加健壯的方式挑選任務。現在在硬件方面，有幾個系統即將出現，但他們仍然沒有機器人手上的完整觸摸皮膚的概念。它通常僅限于指尖。

因此，我認為機械手設計仍有很大的改進空間，無論是觸摸感應還是鉸接本身，同時開發可以利用這些新硬件設計和傳感器的控制算法設計也是如此。

這實際上是我認為深度學習的一些希望，因為它非常適合組合這些不同的傳感器數據流。如果你想進行強大的操作，你需要將所有這些信息放在一起，這意味著你需要使用視覺信息并將其與觸摸感應和力反饋相結合，并使用所有這些來控制手本身的閉環控制算法。

你認為在像廚房這樣的環境中，一切都是為人類的雙手設計，使用五指手，或者你認為使用雙指夾具會讓你大部分時間復雜得多?

讓我們這樣說吧 - 智能算法和傳感的兩個手指將使我們超越現在的位置。我不認為這是最終的解決方案。另外，為什么沒有帶吸盤的機器人?我不是必然會與擬人設計結婚，但由于這些環境是為我們設計的，所以它們顯然非常適合這些類型的手。與那些多年來一直在操縱的人交談時，他們也同意兩個手指可以做很多事情，但最終你必須超越它。

舉個例子 - 如果你讓一個人用兩個手指抓手遙控一個機器人，我們已經可以做很多事了。因此，這清楚地表明缺乏的是智能和算法，它們感知我們感知這些場景的方式，并相應地生成控制命令。

既然您正在為廚房環境開發移動機械手，那么您認為我們什么時候可以在我們的家中運行?

我們之所以做廚房，并不是因為我相信廚房將成為這些機器人在家中的首要應用 - 這些任務仍然具有挑戰性。這更像是一個研究方向，可以代表其他情景，如工業制造或醫療保健。所以我想在家里，在我們擁有一個正常的家庭會為他們做飯的機器人之前，會有許多其他的應用場景。例如，有特殊需求的人，那里有更強大的動力來擁有機器人，并且可能有更多約束任務可能非常有用，但機器人可以執行，例如將物品帶到人或拾取物品從地板上。

能夠只是提出食譜并讓機器人為你烹飪整個食物嗎?那將是幾十年了。但這就是為什么廚房令人興奮，因為我們可以上演它，我們可以讓它變得越來越復雜。一個中間步驟可能是人正在做艱苦的工作，所有機器人需要做的就是在正確的時間帶來正確的成分 - 機器人不是一個很好的廚師，但它確實可以做到的事情，并幫助您更有效地完成更好的工作。

你說“現在是開發下一代機器人的時候了。”下一代機器人究竟是什么?

下一代機器人真的是機器人的概念，可以與人一起執行操作任務，這意味著他們可以安全地與人合作，他們有能力識別周圍發生的事情，了解人們何時給他們命令，能夠在學習新任務方面要靈活，一個人應該能夠以一種簡單而自然的方式教他們新的任務。那肯定還有五年了。但在此過程中，正如我們正在進行這項研究一樣，我們將看到這些機器人變得足夠有用，以至于在工業應用等方面，它們將開始在那個時間框架內部署。這是件好事 - 我們說沒有最終目標，“直到我們到達那里，這些機器人完全沒用。” 總會有中間步驟使它們值得部署，