早起的鳥兒使用的能量少10倍來訓練深度神經網絡

賴斯大學的“早起的鳥兒”對蠕蟲的關心較少。它正在尋找數百萬噸的溫室氣體排放量。Early Bird是一種用于培訓深度神經網絡(DNN)，無人駕駛汽車背后的人工智能(AI)形式，智能助手，面部識別以及許多其他高科技應用的節能方法。

賴斯大學和得克薩斯州A&M大學的研究人員于4月29日在國際學習代表大會ICLR 2020上的聚焦論文中宣布了《早起的鳥兒》。賴斯高效和智能計算(EIC)實驗室的主要作者尤浩然和李朝建的一項研究表明，“早起的鳥兒”可以將DNN訓練到相同的準確性水平或比典型訓練更好地節省了10.7倍的能量。EIC實驗室的負責人Lin Yingyan以及Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同領導了這項研究。

Lin說：“最近AI突破的主要動力是引入更大，更昂貴的DNN。” “但是培訓這些DNN需要大量的精力。要揭示更多的創新，必須找到既能解決環境問題又能減少AI研究的財務障礙的'綠色'培訓方法。”

培訓最先進的DNN不僅成本高昂，而且越來越昂貴。一個2019研究由艾倫研究所AI在西雅圖發現，培養第一流的所需的計算數量深層神經網絡增加了30萬次2012年至2018年之間，以及不同的研究2019在美國麻省大學的研究人員發現，碳訓練單個精英DNN的足跡大約等于五輛美國汽車的終身二氧化碳排放量。

DNN包含數百萬甚至數十億個學會執行專門任務的人工神經元。無需任何明確的編程，人造神經元的深層網絡就可以通過“研究”大量先前的示例來學習做出類似人的決定，甚至勝過人類專家。例如，如果DNN研究貓和狗的照片，它就會學會識別貓和狗。經過深入研究的棋盤游戲Go的深層網絡AlphaGo在研究了成千上萬的先前玩過的游戲之后，在2015年擊敗了職業人類玩家。

賴斯布朗工程學院的電氣和計算機工程助理教授林說：“進行DNN培訓的最先進方法被稱為漸進式修剪和培訓。” “首先，您要訓練密集的大型網絡，然后刪除不重要的部分(例如修剪樹)。然后，對修剪的網絡進行再培訓以恢復性能，因為修剪后性能會下降。在實踐中，您需要修剪和再培訓很多次以獲得良好的性能。”

修剪是可能的，因為網絡中只有一小部分人造神經元可以潛在地完成專門任務的工作。訓練會加強必要神經元之間的聯系，并揭示哪些神經元可以被修剪掉。修剪可減少模型大小和計算成本，從而使部署完全受訓的DNN更加經濟實惠，尤其是在內存和處理能力有限的小型設備上。

林說：“第一步，訓練密集，龐大的網絡是最昂貴的。” “我們在這項工作中的想法是在這個昂貴的第一步的開始階段，確定最終的，功能齊全的修剪網絡，我們將其稱為“早鳥票”。

通過在培訓的早期尋找關鍵的網絡連接模式，Lin和同事們既發現了早鳥票的存在，又使用它們簡化了DNN培訓。在對各種基準數據集和DNN模型進行的實驗中，Lin及其同事發現，“早起的鳥兒”在訓練初期可能只出現十分之一或更少的時間。

林說：“我們的方法可以在密集的巨型網絡訓練的前10%或更少的時間內自動識別早鳥票。” “這意味著您可以訓練DNN，以給定任務在大約傳統訓練所需時間的10%或更少的時間內達到相同或什至更好的精度，這可以節省大量的計算和能源。”