一種提高四足機器人足球投籃技巧的強化學習框架

加州大學伯克利分校(UCBerkeley)、蒙特利爾大學和Mila的研究人員最近開發了一種分層強化學習框架，以提高四足機器人在足球投籃中的精度。這個框架是在arXiv上預先發表的一篇論文中介紹的，它被部署在UnitreeA1上，這是一個由UnitreeRobotics開發的四足機器人。

“人的腿不僅用于運動，還可以用于踢足球等操作，我們希望四足機器人也能夠獲得這種能力，”進行這項研究的研究人員之一李忠宇告訴TechXplore。“機器人界有一個著名的聯賽叫做‘RoboCup’(機器人世界杯)，幾十年來一直在邀請研究人員訓練他們的機器人踢足球比賽。”

最近的進步使得為機器人創建更可靠的硬件和先進的控制算法成為可能。因此，機器人現在變得更加敏捷，并且有可能處理更復雜的任務，包括與人類一起踢足球。Li和他的同事開發的框架可以幫助提高四足機器人在足球比賽中的射門能力。

新框架有兩個關鍵組成部分：運動控制策略和運動規劃策略。運動控制組件允許機器人跟蹤其踢腿上腳趾的任意軌跡。另一方面，運動規劃策略選擇最佳腳趾軌跡以將附近的足球(由外部攝像機檢測到)射擊到目標位置(例如，球門柱)。

“我們的設計使我們能夠將精確足球任務的挑戰分解為兩個子任務：控制和計劃，”李說。“我們可以首先專注于訓練一個可以在硬件上工作的魯棒控制策略，然后重新使用這樣的控制器來學習規劃策略。為了將球精確地射向現實世界中的目標，規劃器使用真實的-機器人射擊真實足球時的世界數據。”

Li和他的同事使用A1四足機器人在一系列真實世界的測試中測試了他們的框架。他們發現它允許機器人以高精度將可變形的足球射向隨機目標。這是一項非常復雜的任務，因為機器人需要快速擺動其踢腿并在不失去平衡的情況下獲得動力。

“足球帶來了更多挑戰，因為機器人不僅需要處理與可變形球的難以建模的軟接觸，還需要處理球與地面之間滾動摩擦的不確定性，”李說。“我們為解決這些問題而開發的方法可能對動態機器人(例如腿式機器人)必須與軟物體(例如球、繩索、皮帶、衣服等)交互的任務很有用。”

將來，這組研究人員創建的框架可用于提高機器人在足球比賽中的表現，尤其是Robocup。同時，李和他的同事計劃設計其他框架和機器學習模型，以提高機器人在足球比賽其他元素中的表現。

“我們的長期目標是開發有朝一日可以與人類競爭的四足機器人足球運動員，”李補充說。“我們正在使用四足機器人開發更復雜的足球技能，希望在不久的將來，我們可以使用四足機器人開始一場完全自主的足球比賽。”