Facebook的新技術可以超快速地訓練計算機視覺模型

Facebook已經找到了一種培訓計算機視覺模型的新方法，這種模式將大大加速公司的人工智能工作。使用這項新技術，公司可以在一小時內訓練圖像分類模型，同時保持其準確性。

在最佳性能方面，今天在紙上布局的新系統可以使用256個GPU每秒訓練40,000個圖像，而不會犧牲最終模型的質量。通過幫助數據科學家更快地測試他們的假設，這一成就應該有助于提高未來研究的質量。

加速機器視覺培訓對于Facebook來說非常重要，它將增強現實和機器學習視為未來業務的關鍵。根據Facebook應用機器學習團隊的軟件工程師Pieter Noordhuis的說法，加速模型創建意味著公司的數據科學家每天可以運行多種模型排列，而不必花費一天時間進行單一測試。

“他們可以說'好吧，讓我們開始我的一天，開始我的一次訓練，喝一杯咖啡，弄清楚它是怎么做的'，”他說。“利用[他們]從中獲得的表現，形成一個新的假設，進行一個新的實驗，直到一天結束。使用它，[他們]可能在一天內完成六個測序實驗，否則會使他們在一周內恢復。“

Facebook的加速通過擴展訓練中處理的圖像的小批量大小來實現，這使得通過在大量GPU上運行計算來加速學習過程成為可能。然而，增加小批量大小也需要提高學習率，這導致過去的準確度降低。

Facebook的團隊想出的是一個新的熱身階段，隨著時間的推移慢慢提高學習率和批量大小，以幫助保持較小批次中的準確性。使用它，他們能夠為小批量的8,192張圖像保持大致相同的錯誤率，因為它們的小批量大小為256張圖像。

這項研究的好處不僅限于Facebook。該公司使用開源Caffe2框架，通過開放計算項目發布的設計服務器完成了所有工作。使用其他服務器和其他框架的人可以遵循本文中提出的技術，并且應該能夠看到類似的好處。

也就是說，不清楚這種技術會對不同的問題產生類似的結果。然而，Facebook的研究使其他數據科學家，包括那些在社交網絡公司工作的科學家，可以追求更多的質疑。

根據Noordhuis的說法，這項研究的另一個主要好處是它證明了Facebook的AI研究團隊的價值，更好地稱為FAIR。今天報告的結果是兩個組織之間的合作。FAIR在擴大批量規模和創建預熱階段方面提供了見解，而公司的應用機器學習團隊利用其專業知識使得最終系統在數據中心工作。