機器學習需要大量精力為什么AI如此耗電

本月，谷歌因對該公司撤回研究論文表示不滿，迫使該公司退出了一位著名的AI倫理研究人員。本文指出了語言處理人工智能的風險，在Google搜索和其他文本分析產品中使用的類型。

開發此類AI技術的巨大風險是其中的風險。據一些估計，訓練一個AI模型產生的碳排放量與建造和駕駛五輛汽車在其整個生命周期中所需的碳排放量一樣多。

我是一名研究和開發AI模型的研究員，而且我對AI研究的飛速發展的能源和財務成本非常熟悉。為什么AI模型變得如此耗電，它們與傳統數據中心計算有何不同?

今天的培訓效率低下

在數據中心完成的傳統數據處理工作包括視頻流，電子郵件和社交媒體。AI的計算強度更高，因為它需要讀取大量數據，直到學會理解它為止，即經過培訓。

與人們的學習方式相比，這種培訓效率很低。現代AI使用人工神經網絡，這是模擬人腦神經元的數學計算。每個神經元與其鄰居的連接強度是網絡的一個參數，稱為權重。為了學習如何理解語言，網絡從隨機權重開始并進行調整，直到輸出同意正確答案為止。

訓練語言網絡的一種常見方法是，從Wikipedia和新聞媒體等網站向其提供大量文本，并在其中掩蓋一些單詞，并要求其猜測被掩蓋的單詞。一個例子是“我的狗很可愛”，而“可愛”一詞被遮蓋了。最初，該模型將它們全部弄錯了，但是，經過多輪調整之后，連接權重開始改變并拾取數據中的模式。網絡最終變得準確。

最近的一個名為“變壓器雙向編碼器表示(BERT)”的模型使用了英語書籍和維基百科文章中的33億個單詞。此外，在訓練期間BERT讀取此數據集的次數不是一次，而是40次。相比之下，一個普通的孩子學習說話時到五歲時可能會聽到4500萬個單詞，比BERT少3000倍。