商業云服務提供商推動人工智能計算的發展

神經網絡為研究人員提供了一個強大的工具，可以用來展望未來并做出預測。但是一個缺點是他們對處理所有這些信息的數據和計算能力(“計算”)的無限需求。在麻省理工學院，對計算的需求估計是研究所提供的需求的五倍。為了緩解這種緊縮，行業介入了。IBM最近捐贈的一臺價值1160萬美元的超級計算機于今年秋天上線，并且在過去的一年中，IBM和Google都向MIT Quest for Intelligence提供了云信用額度，以便在整個校園內分發。下面重點介紹了IBM和Google云捐贈促成的四個項目。

較小，更快，更智能的神經網絡

為了識別圖片中的貓，深度學習模型可能需要先查看數百萬張照片，然后人工神經元才能“學習”以識別貓。正如試圖衡量人工智能(AI)碳足跡的新研究突出顯示的那樣，該過程需要大量的計算，并且會帶來巨大的環境成本。

但是可能有一種更有效的方法。麻省理工學院的最新研究表明，僅需模型的一小部分即可。麻省理工學院電氣工程與計算機科學系(EECS)的研究生喬納森·弗蘭克(Jonathan Frankle)說：“培訓一個大型網絡時，只有一個小型網絡可以完成所有工作。”

在研究合著者和EECS教授邁克爾·卡賓(Michael Carbin)的指導下，弗蘭克勒(Frankle)估計，如果一開始就找到正確的子網，那么神經網絡的連接數將減少十倍。通常，在訓練過程之后修剪神經網絡，然后刪除不相關的連接。弗蘭克勒想知道，為什么不訓練這種小型模型呢?

弗蘭克勒(Frankle)在他的筆記本電腦上進行了兩個神經元網絡的試驗，結果令人鼓舞，并轉向MNIST和CIFAR-10等較大的圖像數據集，并盡可能借用了GPU。最后，通過IBM Cloud，他確保了足夠的計算能力來訓練真實的ResNet模型。他說：“我以前所做的一切都是玩具實驗。” “我終于能夠運行許多不同的設置，以確保可以在我們的論文中提出主張。”

弗蘭克勒(Frankle)在Facebook辦公室講話，他在夏季工作，探索他的彩票假說論文提出的想法，該論文是在今年的國際學習代表大會上獲得最佳論文獎的兩個人之一。弗蘭克勒說，這項工作的潛在應用超越了圖像分類，還包括強化學習和自然語言處理模型。Facebook AI Research，普林斯頓大學和Uber的研究人員已經發表了后續研究。