一種低成本的四足機器人可以通過強化學習來學習

在過去的十年左右的時間里，機器人專家和計算機科學家試圖使用強化學習(RL)方法來訓練機器人有效地導航其環境并完成各種基本任務。然而，到目前為止，構建負擔得起的機器人來支持和管理與RL算法相關的探索性控制一直是相當困難的。

阿爾托大學和Ote Robotics的研究人員最近創建了RealAnt，這是一種低成本的四足機器人，可以有效地用于測試和實施RL算法。在arXiv上預發表的一篇論文中介紹的新機器人技術平臺是“螞蟻”機器人仿真環境的簡約且價格合理的真實版本，該平臺經常用于RL研究中。

Ote Robotics的聯合創始人Jussi Sainio對Tech Xplore表示：“我們研究的最初靈感是RL研究，成功地證明了在類似螞蟻的四足機器人和人形機器人仿真中從零開始的學習。” “采用RL算法的基本前提是，對機器人進行編程變得更加容易和更加'自然'-只需定義可用的傳感器測量值，運動動作，然后設定目標目標并將其全部插入強化學習中即可。算法，找出其余部分。”

最初，RL算法只有在經過數千小時的機器人仿真訓練后才能表現良好。但是，最近，計算機科學家僅需很少的訓練數據就可以教受螞蟻啟發的四足機器人走路，從而達到所謂的高采樣效率。這樣就可以在現實世界中直接訓練機器人，而無需進行基于模擬的訓練。

Sainio解釋說：“我們很快意識到，像RealAnt一樣的步行機器人并不容易且價格低廉，尤其是對于強化學習而言，這很容易通過濫用控制來損壞機器人。” “與模擬器環境相比，沒有一個完整的軟硬件組合可以用于現實世界的強化學習，并且可以開始使用。因此，我開始構建自己的機器人和界面軟件原型。”

Sainio和他的同事最近的工作的主要目的是基于現有的基準RL解決方案創建一個簡單且低成本的機器人平臺。這樣的平臺將使更多的研究人員能夠構建和測試能夠完成現實世界中各種基本任務的自主機器人。