Google的新SEEDRL框架將AI模型培訓成本降低了

Google的研究人員開源了一個新框架，該框架可以在數千臺機器上擴大人工智能模型的培訓。

谷歌在一份研究論文中指出，這是一個有希望的發展，因為它應該使AI算法訓練能夠以每秒數百萬幀的速度執行，同時將這樣做的成本降低多達80%。

這種減少可能有助于為那些以前無法與AI等主要參與者競爭的初創公司提供公平的競爭環境。實際上，在云中訓練復雜的機器學習模型的成本令人驚訝地昂貴。

Synced最近的一份報告發現，華盛頓大學花費了25,000美元來訓練其Grover模型，該模型用于檢測和生成假新聞。同時，OpenAI每小時支付256美元來訓練其GPT-2語言模型，而Google本身花費約6,912美元來訓練其BERT模型來處理自然語言。

SEED RL構建在TensorFlow 2.0框架之上，并通過利用圖形處理單元和張量處理單元的組合來集中模型推斷。然后使用訓練模型的學習器組件集中執行推斷。

目標模型的變量和狀態信息保持局部狀態，并在過程的每個步驟中將對它們的觀察結果發送給學習者。SEED RL還使用基于開源通用RPC框架的網絡庫來最大程度地減少延遲。

谷歌的研究人員說，SEED RL的學習者組件可以擴展到數千個內核，而在環境中采取步驟與在模型上進行推斷以預測下一步操作之間進行迭代的參與者數量可以擴展到數千臺機器。

Google通過在流行的Arcade學習環境，Google Research Football環境和幾個DeepMind Lab環境中進行基準測試來評估SEED RL的效率。結果表明，他們使用64個Cloud Tensor Processing Unit芯片以每秒240萬幀的速度訓練模型的同時，成功解決了Google Research Football的任務。谷歌表示，這比以前的框架快80倍。

阿姆斯特丹Google Research的研究工程師Lasse Espeholt寫道：“這大大縮短了掛鐘時間，并且由于加速器的每次操作比CPU便宜幾個數量級，因此實驗的成本大大降低了。”周一在公司的AI博客中。“我們相信SEED RL及其呈現的結果表明，在利用加速器方面，強化學習再次趕上了其他深度學習領域。”

Constellation Research Inc.分析師Holger Mueller告訴SiliconANGLE，SEED RL似乎是“強化學習”的另一個例子，他說SEED RL正在成為推進下一代應用程序的最有前途的AI技術之一。

Mueller說：“當您調整軟件使其與硬件完美配合時，通常會看到重大進步，這就是Google在這里展示的-SEED RL庫與TPU架構的結合。” 毫不奇怪，與傳統解決方案相比，它提供了可觀的性能提升。盡管用戶將被鎖定在Google Cloud Platform中，但這使大眾可以進行強化學習。但是AI可以在云中得到最好的服務，而GCP是AI應用程序的絕佳選擇。”

谷歌表示，SEED RL的代碼已開源，并在Github上可用，還有一些示例，展示了如何在帶有圖形處理單元的Google Cloud上運行它。