減少深度學習的碳足跡

6月，OpenAI推出了世界上最大的語言模型，這是一種稱為GPT-3的文本生成工具，可以編寫創意小說，將法文翻譯成普通英語，并回答晦澀的瑣事問題。這是通過深度學習實現的最新智能技術，深度學習是一種以大腦中神經元處理和存儲信息的方式為模式的機器學習方法。

但這要付出高昂的代價：假設該模型是在標準的神經網絡芯片或GPU上進行訓練的，至少要花費460萬美元和355年的計算時間。該模型的巨大大小(比典型語言模型大1000倍)是其高昂成本的主要因素。

麻省理工學院的研究員尼爾·湯普森(Neil Thompson)說：“您必須投入更多的計算才能使性能有所提高。”他追蹤了深度學習對計算的堅定需求。“這是不可持續的。我們必須找到更有效的方式來擴展深度學習或開發其他技術。”

關于AI的最新進展的一些激動已經轉移到了警報。在去年的一項研究中，馬薩諸塞州大學阿默斯特分校的研究人員估計，訓練大型深度學習模型會產生626,000磅變暖的二氧化碳，相當于五輛汽車的終身排放量。隨著模型的增大，它們對計算的需求超過了硬件效率的提高。專門用于神經網絡處理的芯片，例如GPU(圖形處理單元)和TPU(張量處理單元)，已經抵消了對更多計算的需求，但還遠遠不夠。

“我們需要重新思考從軟件到硬件的整個堆棧，” MIT-IBM Watson AI Lab的MIT主管和MIT Quest for Intelligence的聯合主管Aude Oliva說。“深度學習使最近的AI革命成為可能，但是其不斷增長的能源和碳排放成本卻難以為繼。”

1950年代，計算極限使神經網絡擺脫了最早的化身-感知器的困擾。隨著計算能力的爆炸式增長，以及互聯網釋放出的數據海嘯，它們演變成用于模式識別和預測的強大引擎。但是，由于需要大量數據的模型要求增加計算量，因此每個新的里程碑都會帶來成本爆炸。例如，GPT-3訓練了0.5萬億個單詞，并膨脹了1750億個參數(將模型關聯在一起的數學運算或權重)，使其尺寸比前一年(本身僅一年)的尺寸大100倍。

在預打印服務器arXiv上發布的工作中，Thompson和他的同事表明，深度學習模型超越關鍵基準的能力追蹤了它們在計算能力上的近乎指數級的增長。(就像其他尋求追蹤AI的碳足跡的團隊一樣，由于缺乏報告要求，該團隊不得不猜測許多模型的能源消耗)。研究人員認為，以這種速度，深層網絡只有在它們及其運行的硬件變得更加高效時才能生存。