研究人員訓練AI模仿YouTube視頻中的20個雜技動作

加州大學伯克利分校的研究人員創建了一個教學人工智能系統的框架，以便通過在YouTube上播放視頻片段來學習動作。

該框架結合了計算機視覺和強化學習，以從視頻中培訓AI技能。總而言之，該團隊能夠訓練人工智能執行超過20種雜技任務，如車輪，翻滾，后空翻和一些武術。

該方法不需要使用動作捕捉視頻，這種視頻通常用于將人類動作轉換為數字形式，例如LeBron James合并到NBA 2K18中的運動或Andy Serkis作為指環王的Gollum的表現。

該框架的工作原理是首先攝取視頻，以了解每個視頻幀中看到的姿勢; 然后訓練模擬角色以使用強化學習來模仿運動。該系統還可以拍攝運動中的人的單個圖像并預測運動將如何執行的合理結果。

直接從視頻中學到的技能可以在不同的角色和環境中重復使用。其中一個被重新用于訓練阿特拉斯的模擬，阿特拉斯是一個來自波士頓動力公司的人形機器人，它去年引起了全世界的注意，他做了后空翻。

周二發布的研究結果是伯克利研究人員上個月在一篇論文中強調的關于訓練人工智能系統跳舞的研究。

“總而言之，我們的框架實際上只是采取了解決視頻模仿問題時任何人都能想到的最明顯的方法。關鍵在于將問題分解為更易于管理的組件，為這些組件選擇正確的方法，并將它們有效地集成在一起，“作者Jason(Xue Bin)Peng和Angjoo Kanazawa在Berkeley AI Research 博客文章中說。“然而，模仿視頻技能仍然是一個極具挑戰性的問題，而且有很多我們還無法復制的視頻片段：靈活的舞步，例如這種江南風格的片段，仍然難以模仿。”

其他作者包括加州大學伯克利機器人學習實驗室主任Pieter Abbeel，加州大學伯克利分校助理教授Sergey Levine和加州大學伯克利分校教授Jitendra Malik。

周二發布的研究結果是伯克利研究人員上個月在一篇論文中強調的關于訓練人工智能系統跳舞的研究。

“總而言之，我們的框架實際上只是采取了解決視頻模仿問題時任何人都能想到的最明顯的方法。關鍵在于將問題分解為更易于管理的組件，為這些組件選擇正確的方法，并將它們有效地集成在一起，“作者Jason(Xue Bin)Peng和Angjoo Kanazawa在Berkeley AI Research 博客文章中說。“然而，模仿視頻技能仍然是一個極具挑戰性的問題，而且有很多我們還無法復制的視頻片段：靈活的舞步，例如這種江南風格的片段，仍然難以模仿。”

其他作者包括加州大學伯克利機器人學習實驗室主任Pieter Abbeel，加州大學伯克利分校助理教授Sergey Levine和加州大學伯克利分校教授Jitendra Malik。