學生開發工具來預測算法的碳足跡

每天，甚至可能沒有意識到，我們大多數人都與稱為深度學習的高級AI方法保持密切聯系。每當我們使用Siri或Alexa，Netflix根據我們的觀看歷史記錄推薦電影和電視節目，或與網站的客戶服務聊天機器人進行通信時，深度學習算法都會攪動。

然而，這種迅速發展的技術原本可以作為抵御氣候變化的有效武器，但它卻有很多人不知道的缺點-高能耗。如果行業趨勢繼續下去，人工智能，尤其是深度學習的子領域，可能會成為重要的氣候罪魁禍首。從2012年到2018年的短短六年間，深度學習所需的計算能力增長了300,000%。然而，盡管有大量研究清楚地表明了這一日益嚴重的問題，但與開發算法相關的能耗和碳足跡卻很少被測量。

為了解決這個問題，哥本哈根大學計算機科學系的兩名學生Lasse F. Wolff Anthony和Benjamin Kanding與助理教授Raghavendra Selvan一起開發了一個名為Carbontracker的軟件程序。該程序可以計算和預測訓練深度學習模型的能耗和CO 2排放量。

“該領域的發展正在迅速地瘋狂發展，深度學習模型正在不斷擴大規模并變得更加先進。現在，它呈指數級增長。這意味著能源消耗的增加，大多數人似乎都沒有想到。”拉瑟·F·沃爾夫·安東尼。

一次培訓= 126個丹麥家庭的年度能源消耗

深度學習訓練是數學模型學習識別大型數據集中的模式的過程。這是一個耗能的過程，需要一天24小時不間斷運行在專用的，耗電的硬件上。

本杰明·坎丁說：“隨著數據集一天一天地增長，算法需要解決的問題變得越來越復雜。”

迄今為止開發的最大的深度學習模型之一是稱為GPT-3的高級語言模型。在一次培訓中，估計將使用相當于126個丹麥家庭一年的能源消耗，并排放與700,000公里行駛相同的CO 2量。

Lasse F. Wolff Anthony說：“幾年之內，可能會有幾倍大得多的模型。”

有待改進

“如果趨勢繼續下去，人工智能最終可能會成為氣候變化的重要因素。阻礙技術發展不是關鍵所在。這些發展為幫助我們的氣候提供了絕佳的機會。相反，它是要意識到這一問題。思考：我們將如何改善?” 本杰明·康定(Benjamin Kanding)解釋說。

Carbontracker是一個免費程序，其思想是為該領域提供減少模型對氣候影響的基礎。除其他事項外，該程序收集有關在進行深度學習培訓的任何區域中使用多少CO 2產生能量的信息。這樣做可以將能耗轉換為CO 2排放預測。

在他們的建議中，兩位計算機科學專業的學生建議深度學習的從業者著眼于何時進行他們的模型訓練，因為24小時內電源不是同樣的綠色，以及他們部署的硬件和算法的類型。

“可以大大減少氣候影響。例如，選擇在愛沙尼亞或瑞典進行模型培訓非常重要，這要歸功于綠色能源供應，模型培訓的碳足跡可以減少60倍以上。算法的能效也有很大差異。某些算法需要更少的計算，因此也就需要更少的能量來達到相似的結果。如果人們可以調整這些類型的參數，則情況可能會發生很大的變化。” Lasse F. Wolff Anthony總結道。