谷歌稱人工智能的指數級增長正在改變計算的本質

人工智能和機器學習的爆炸性發展正在改變計算的本質，人工智能的最大實踐者之一谷歌表示。

周四上午，谷歌軟件工程師克里夫楊在林利集團秋季處理器大會上發表了開幕主題演講。

楊說，人工智能的使用已經到了“指數階段”，而摩爾定律卻停滯不前。

“《紐約時報》有點神經質，”他若有所思地說。“數字CMOS正在放緩，我們看到英特爾在10納米(芯片生產)方面的困境，我們看到GlobalFoundries正在擺脫7納米芯片的困境。同時，這種深度學習正在發生，也有經濟需求。”互補金屬氧化物半導體是計算機芯片最常見的材料。

此外，谷歌為TPU 3.0人工智能、機器學習和模型訓練做準備。

楊指出，由于傳統芯片難以實現更高的性能和效率，人工智能研究人員的需求正在飆升。他引用了一些數據：在康奈爾大學維護的arXiv預印本服務器上，關于機器學習的學術論文數量每18個月翻一番。他說，谷歌專注于人工智能的內部項目每18個月翻一番。此外，執行機器學習神經網絡所需的浮點算術運算數量每三個半月翻一番。

所有這些計算需求的增加共同形成了一個“超級摩爾定律”，楊說他稱之為“有點可怕”、“有點危險”和“值得擔心的事情”。

“為什么所有這些指數都在增長？”在人工智能領域，他問道。“部分原因是深度學習非常有效，”他說。“很長一段時間，我在職業生涯中忽略了機器學習，”楊說。“目前還不清楚這些東西是否會起飛。”

但隨后，圖像識別等領域的突破開始迅速出現，人們清楚地意識到深度學習“非常有效”，他說。“在過去五年的大部分時間里，我們一直是一家人工智能第一的公司，”他說。“我們基于它重建了大部分業務”，從搜索到廣告等等。

楊說，領導人工智能研究的谷歌大腦團隊需要“巨型機器”。例如，神經網絡有時是通過它們使用的“權重”的數量來衡量的，權重是應用于神經網絡的變量，以形成它們對數據的操作。

傳統的神經網絡可能有幾十萬甚至幾百萬個這樣的權重需要計算，而谷歌科學家說“請給我們一臺萬億美元的機器”，一臺可以計算萬億美元權重的計算機。這是因為“每次你把(神經)網絡的規模擴大一倍，我們就能提高精度。”成長是人工智能的法則。

當然，作為回應，谷歌一直在開發自己的機器學習芯片生產線——“Tensor Processing Unit”。傳統的cpu和gpu跟不上時代，所以需要TPU和類似的組件。

楊：表示，“長期以來，我們一直認為英特爾和NVIDIA在構建高性能系統方面表現出色。”五年前我們跨過了這道門檻。"

TPU在2017年首次亮相時引起了轟動，聲稱其性能優于傳統芯片。谷歌現在是第三代TPU，內部使用，通過谷歌云提供按需計算節點。

此外，谷歌宣布邊緣TPU，云物聯網邊緣軟件。

公司繼續制造越來越多的TPU樣品。楊說，它的“吊艙”配置將1024個獨立的TPU連接到一臺新的超級計算機上，谷歌打算“繼續擴展”這個系統。

他說：“我們正在建造這些巨大的多計算機，擁有幾十千兆字節的計算能力。”"我們正無情地向許多方向前進，萬億行動也在不斷攀升."

他說，這樣一個項目“帶來了超級計算機設計中的所有問題”。

例如，谷歌工程師采用了傳奇超級計算組織Cray使用的技能。他們將“巨大的矩陣乘法單元”(負責神經網絡計算的芯片)與“通用向量單元”和“通用標量單元”結合在一起，就像Cray一樣。“標量和矢量單位的結合使克萊超越了其他一切，”他說。

谷歌開發了自己新穎的算術結構來編程芯片。所謂“bfloat16”是一種表示實數的方法，可以提高神經網絡處理數字的效率。常被稱為“腦浮”。

TPU采用最快的存儲芯片，即所謂的高帶寬存儲器(HBM)。他說，當訓練神經網絡時，對記憶能力的需求激增。

他說，“記憶力在訓練中得到加強。”“人們談論上億的權重，但這也是處理神經網絡激活變量的問題。”

谷歌還在調整神經網絡編程方式，以充分利用硬件。“我們在數據和模型并行方面做了大量的工作”，項目包括“Mesh TensorFlow”，這是對公司TensorFlow編程框架的改編，“在點尺度上結合了數據和模型并行”。

楊拒絕透露一些技術細節。他指出，該公司沒有過多談論“互聯”(數據在芯片上移動的方式)，只是說“我們有巨大的連接器”。他拒絕提供更多的信息，引起了觀眾的大笑。

楊指出，更多有趣的計算領域可能離我們不遠了。例如，他建議。

過模擬芯片進行計算，這種電路將輸入信號處理為連續的數值，而不是1和0，這將起到重要的作用。“也許我們會從模擬領域取樣，在物理、模擬計算或非易失性技術領域有一些非常酷的東西。”

他對出現在大會上的芯片初創公司的新技術抱有希望:“有一些非常酷的初創公司，我們需要它們，因為數字CMOS只能把我們帶到這么遠的地方;我希望這些投資能夠實現。”

早期的人工智能采用者回報豐厚

新的研究表明，人工智能技術正在取得成效，但組織面臨挑戰。

甲骨文推出新的企業數字助理

除了典型的用于單一目的的聊天機器人外，Oracle Digital Assistant還可以通過培訓來支持來自多個應用程序的領域技能

人工智能為企業的早期采用者帶來回報，但不是創造平等的行業

德勤的年度人工智能調查顯示了一些現實主義，網絡安全方面的擔憂，以及17%的平均投資回報率。

機器學習現在是開發人員所追求的最高技能

SlashData對2萬名開發者的最新調查發現，機器學習和數據科學是2019年需要掌握的技能。