深度強化學習架構結合了預先學習的技能

來自愛丁堡大學和浙江大學的一組研究人員已經開發出一種方法，可以將深度神經網絡(DNN)組合在一起，以創建一種具有新型學習能力的新型系統。該小組在《科學機器人》雜志上描述了他們的新架構及其性能。

深度神經網絡能夠通過反復訓練多個示例來學習函數。迄今為止，它們已被廣泛用于各種應用中，例如識別人群中的面孔或確定貸款申請人是否信譽良好。在這項新工作中，研究人員將針對不同應用開發的幾種DNN組合在一起，以創建一個具有所有DNN組成部分優勢的新系統。他們報告說，最終的系統不僅僅是其各個部分的總和，而且還能夠學習DNN不能單獨工作的新功能。研究人員稱其為多專家學習架構(MELA)。

更具體地說，這項工作涉及為不同功能培訓多個DNN。例如，有人學會了使機器人小跑。另一個可以繞過障礙物。然后，所有DNN都連接到門控神經網絡，該網絡會隨著時間的流逝學習如何在需要控制其在環境中移動的機器人時需要其特殊技能的其他DNN。這樣，最終的系統便能夠執行所有組合DNN的所有技能。

但是，這還不是練習的終點，因為MELA了解了更多有關其組成部分及其功能的知識，它學會了通過嘗試和錯誤的方式將它們一起使用，而這是沒有教過的。例如，它學會了如何結合跌倒后的起床和處理濕滑的地板，或者學會如何在其中一個電機發生故障時進行處理。研究人員認為，他們的工作標志著機器人技術研究的一個新的里程碑，提供了一種新的范例，當機器人遇到以前從未遇到過的問題時，人們不必干預。