深度學習模型在Gran上實現了超人的表現

在過去的幾十年中，全球的研究團隊開發了機器學習和深度學習技術，這些技術可以在各種任務上實現人類可比的性能。這些模型中的一些還經過訓練，可以玩著名的棋盤或視頻游戲，例如古代中國游戲Go或Atari街機游戲，以便進一步評估其功能和性能。

蘇黎世大學和索尼AI蘇黎世大學的研究人員最近測試了一種基于深度強化學習的方法的性能，該方法經過訓練可玩Gran Turismo Sport，這是由Polyphony Digital開發并由Sony Interactive Entertainment發行的著名賽車視頻游戲。他們的發現發表在arXiv上預先發表的一篇論文中，進一步凸顯了深度學習技術在模擬環境中控制汽車的潛力。

進行這項研究的研究人員之一宋云龍告訴TechXplore：“高速自動駕駛是一項艱巨的任務，即使車輛接近其物理極限，也需要做出快速而精確的動作。” “自動賽車的目標是在最短的時間內完成給定的路線，其中包括控制汽車以接近其物理限制的一些困難。要解決這些挑戰并推進前沿，我們考慮了自動賽車的任務在最暢銷的賽車游戲《 Gran Turismo Sport》中，該游戲以對各種汽車和賽道的詳細物理模擬而聞名。”

Song和他的同事最近進行的研究的主要目的是開發一種基于人工神經網絡(ANN)的控制器，該控制器可以在模擬軌道內自動移動賽車，而無需事先了解賽車的動力學特性。為了在Gran Turismo Sport上表現出色，控制器應嘗試盡量減少完成給定軌道的時間。

為了實現他們的目標，研究人員首先定義了一個獎勵函數，該函數將“競賽問題”公式化為最短時間問題，并概述了將輸入的觀察結果直接映射到汽車控制命令的神經網絡策略。隨后，他們使用強化學習訓練了神經網絡的參數，從而最大限度地提高了模型在表現良好時將獲得的回報。

研究人員在Gran Turismo Sport的試驗中訓練了他們基于神經網絡的控制器，并在四個Playstation 4游戲機和臺式PC上運行了該游戲。值得注意的是，經過不到73小時的訓練，他們的模型已經達到了超人的表現。