二值化神經網絡顯示出快速準確的機器學習的希望

眾所周知，修剪可以促進植被的蓬勃發展。在這里剪一剪，在那里剪一剪，可以控制和引導生長，使植物更有活力。相同的原理可以應用于機器學習算法。沿這些算法中的編碼分支刪除位和片段可以降低決策樹的復雜性并提高預測性能。

美國能源部太平洋西北國家實驗室(PNNL)的研究人員正是這樣做的。通過二值化神經網絡(BNN)的探索，他們使用修剪原理來顯著降低計算復雜性和內存需求。BNN是深度神經網絡的近親，需要大量的計算。但是BNN的顯著差異是：它們使用單??個位對每個神經元和參數進行編碼，而使用的能量和功率卻少得多。

修剪以加快增長

研究人員認識到，從2016年左右開始，BNN在機器學習中的潛在價值。如果以正確的方式構建或修剪BNN，它們將消耗更少的計算能量，并且幾乎與深度神經網絡一樣精確。這意味著BNN更有潛力受益于資源受限的環境，例如手機，智能設備和整個物聯網生態系統。

這是修剪起作用的地方。隨著近年來神經網絡研究的發展，修剪已引起計算機研究人員的更多興趣。

PNNL計算機科學家Ang Li說：“修剪目前是機器學習中的熱門話題。” “我們可以添加軟件和架構編碼，以將修整推向一個對計算設備的性能有更多好處的方向。這些好處包括更低的能源需求和更低的計算成本。”

PNNL計算機科學家Ang Li表示，隨著近年來神經網絡研究的發展，修剪已引起計算機研究人員的更多興趣。圖片提供：Andrea Starr | 太平洋西北國家實驗室

Li是一組PNNL研究人員之一，最近他們在電氣與電子工程師協會關于并行和分布式系統的交易中發表了研究結果，顯示了選擇性修剪的好處。研究表明，修剪BNN架構的冗余位會導致定制的亂序BNN，稱為O3BNN-R。他們的工作顯示了高度濃縮的BNN模型-已經可以顯示高性能的超級計算質量-可以在不損失準確性的情況下進一步縮小。

波士頓大學的博士生Tong“ Tony” Geng說，“二元神經網絡有可能使神經網絡的處理時間達到微秒左右。”他是PNNL實習生，他協助Li參與了O3BNN-R項目。

Geng說：“ BNN的研究朝著使神經網絡真正有用并易于在現實世界中被采用的有前途的方向發展。” Geng將于1月份重新加入PNNL的工作，擔任博士后研究員。“我們的發現是實現這一潛力的重要一步。”

他們的研究表明，這種亂序的BNN可以平均減少30%的操作，而不會造成任何準確性損失。通過進行更精細的調整(稱為“訓練中的常規化”)，可以將性能再提高15%。