微軟推出了用于運行超快速AI的系統Brainwave

微軟今天推出了一款用于高速，低延遲服務機器學習模型的新系統，從而在專用人工智能硬件領域引起轟動。該公司展示了一個名為Brainwave的新系統，該系統將允許開發人員將機器學習模型部署到可編程芯片上，并實現超出他們從CPU或GPU獲得的高性能。

位于加利福尼亞州庫比蒂諾的Hot Chips會議的研究人員展示了一款門控循環單元模型，該模型運行在英特爾全新的Stratix 10現場可編程門陣列(FPGA)芯片上，速度為39.5 teraflops，完全沒有批處理操作。缺乏批處理意味著硬件可以在進入時處理請求，為機器學習系統提供實時洞察。

微軟選擇的模型比Alexnet和Resnet-50等卷積神經網絡大幾倍，其他公司已經用它來測試自己的硬件。

提供低延遲的洞察力對于大規模部署機器學習系統非常重要。用戶不希望等待他們的應用程序做出響應。

“我們稱之為實時AI，因為這里的想法是你發送請求，你想要回答，”微軟研究院的杰出工程師Doug Burger說。“如果它是一個視頻流，如果它是一個對話，如果它正在尋找入侵者，異常檢測，你關心互動和快速結果的所有事情，你需要實時，”他說。

但是，之前發布的一些關于硬件加速機器學習的結果集中在以延遲為代價優化吞吐量的結果上。在Burger看來，更多的人應該問一下機器學習加速器如何在不將請求捆綁到批處理中并且一次處理它們的情況下執行。

他說：“所有人[其他]人都在搗蛋。”

微軟在其數據中心安裝的FPGA中使用了Brainwave。根據Burger的說法，Brainwave將允許微軟服務更快地支持人工智能功能。此外，該公司正致力于通過其Azure云平臺向第三方客戶提供Brainwave。

FPGA允許程序員配置經過優化的硬件，以便在運行之前執行特定功能，例如進行必要的數學運算以提供神經網絡的洞察力。微軟已經在其數據中心的數據中心部署了數十萬個FPGA，這些板插入服務器并連接到網絡。

Brainwave將經過訓練的機器學習模型加載到FPGA硬件的內存中，該內存在機器學習服務的整個生命周期內保持不變。然后，該硬件可用于計算模型旨在生成的任何洞察，例如預測的文本字符串。如果模型太大而無法在單個FPGA上運行，則軟件會在多個硬件板上部署并執行它。

微軟并不是唯一一家投資硬件的公司，它應該加速機器學習。谷歌今年早些時候宣布了其Tensor Processing Unit的第二次修訂 - 這是一種用于機器學習培訓和服務的專用芯片。還有一些初創公司正在構建專用的硬件加速器，用于機器學習。

對FPGA的一個常見批評是它們比專門用于執行機器學習操作的芯片更快或更低效。Burger說，這個性能里程碑應該表明可編程硬件也可以提供高性能。

此外，今天展示的性能是在全新的硬件上運行，漢堡表示英特爾和微軟有進一步優化硬件性能和Brainwave使用它的空間。隨著性能的進一步提升，微軟應該可以使用英特爾Stratix 10達到90 teraflops。

目前，Brainwave支持使用Microsoft的CNTK框架和Google的TensorFlow框架創建的訓練模型。漢堡說團隊正在努力使其與其他工具如Caffe兼容。微軟尚未提供何時向其客戶提供Brainwave的路線圖，但正在努力實現未來，當第三方能夠帶來任何訓練有素的模型并在Brainwave上運行它。