研究人員以深度學習的名義展示了能源消耗的眩光

等一下 對地球而言，創建AI比汽車更糟?想想碳足跡。這就是馬薩諸塞州阿默斯特大學的一個小組所做的。他們著手評估訓練四個大型神經網絡所需的能源消耗。

他們的論文目前正在引起技術觀察網站的關注。由Emma Strubell，Ananya Ganesh和Andrew McCallum撰寫的標題為“ NLP中深度學習的能源和政策注意事項”。

MIT Technology Review的人工智能記者Karen Hao說，這是對生命周期的評估，用于訓練幾種常見的大型AI模型。

研究人員說：“用于訓練神經網絡的硬件和方法的最新進展已經迎來了新一代的對大量數據進行訓練的大型網絡。”

你猜怎么著 訓練AI模型會導致“沉重”的足跡嗎?“有點重?” 怎么樣?后者是MIT Technology Review在7月6日星期四報告的調查結果所選擇的詞。

深度學習涉及處理大量數據。(郝說，本文專門研究了自然語言處理的模型訓練過程，這是AI的子領域，它專注于處理人類語言的教學機器。)《新科學家》雜志的Donna Lu引用了Strubell的話說：“為了學習一些東西和語言一樣復雜，模型必須很大。” 哪些價格制定模型可以提高準確性?為此付出巨大的計算資源是代價，這會導致大量的能源消耗。

浩報告了他們的研究結果，即“過程可以發出超過626000磅的二氧化碳當量，近五倍的壽命排放量平均汽車(以及包括汽車本身的制造)。”

這些模型的培訓和開發成本很高–在財務上由于硬件和電力或云計算時間的成本而在成本上昂貴，而在環境上則成本很高。環境成本歸因于碳足跡。該論文試圖“通過量化培訓各種最近成功的NLP神經網絡模型的財務和環境成本，來提請NLP研究人員注意此問題。”

他們如何進行測試：為了衡量對環境的影響，他們每天訓練了四個AI，每天對它們進行一次能耗采樣。他們通過將每個AI訓練所需的總功率乘以每個模型的開發人員報告的總訓練時間來計算。一個碳足跡基于在的電力生產中使用的平均碳排放量估計。

作者建議了什么?他們朝著減少NLP研究中的成本并“提高公平性”的建議方向發展。公平?作者提出了這個問題。

“學術研究人員需要公平地使用計算資源。可用計算的最新進展是以高昂的代價獲得的，這并不是所有人都希望獲得的。本文研究的大多數模型都是在學術界以外開發的;最新狀態的改進得益于業界對大規模計算的訪問，藝術準確性得以實現。”

作者指出：“將這種類型的研究限于行業實驗室會在很多方面傷害NLP研究社區。” 創造力被扼殺。如果研究團隊無法訪問大規模計算，那么好的想法是不夠的。

“其次，它禁止在獲取財務資源的基礎上進行某些類型的研究。這甚至更深地促進了本已存在問題的'富人致富'研究資金的周期，在這一周期中，已經成功并且因此資金充裕的團體傾向于獲得資助。由于他們現有的成就，因此有更多的資金。”

作者說：“研究人員應該優先考慮具有計算效率的硬件和算法。” 有鑒于此，作者建議業界和學術界做出努力，以促進對計算效率更高的算法以及需要更少能源的硬件的研究。