用于低內存IoT設備的神經網絡

俄羅斯的一位科學家開發了一種新的神經網絡架構，并測試了其在手寫數字識別方面的學習能力。網絡的智能被混亂放大，分類精度達到96.3%。該網絡可用于帶有少量RAM的微控制器中，并嵌入鞋或冰箱等家庭用品中，從而使其變得“智能”。該研究發表在《電子》雜志上。

如今，尋找可以在帶有少量隨機存取存儲器(RAM)的微控制器上運行的新神經網絡尤為重要。為了進行比較，在普通的現代計算機中，隨機存取內存以GB為單位進行計算。盡管微控制器的處理能力明顯低于筆記本電腦和智能手機，但它們卻更小巧，可以與家居用品連接。智能門，冰箱，鞋子，眼鏡，水壺和咖啡機為所謂的環境智能奠定了基礎。該術語表示互連的智能設備的環境。

環境智能的一個例子是智能家居。內存有限的設備無法存儲大量密鑰以進行安全的數據傳輸和神經網絡設置數組。由于缺乏所需的計算能力，因此可以防止將人工智能引入物聯網設備。但是，人工智能將使智能設備在分析和決策上花費更少的時間，更好地了解用戶并以友好的方式為他們提供幫助。因此，例如在衛生保健領域，在創建環境情報方面會出現許多新的機會。

俄羅斯彼得羅扎沃茨克州立大學的Andrei Velichko創建了一種新的神經網絡體系結構，該體系結構可有效利用少量RAM，并為將低功耗設備引入物聯網提供了機會。稱為LogNNet的網絡是前饋神經網絡，其中信號僅從輸入到輸出進行定向。它對輸入信號使用確定性混沌濾波器。系統會隨機混合輸入的信息，但同時會從最初不可見的信息中提取有價值的數據。儲層神經網絡使用了類似的機制。為了產生混亂，應用了一個簡單的邏輯映射方程，在該方程的基礎上，下一個值被計算出來。該方程式通常用于群體生物學中，并作為計算混沌值序列的簡單方程式的示例。這樣，簡單方程式就存儲了由處理器計算出的無限數量的隨機數，并且網絡體系結構使用它們并消耗較少的RAM。

這位科學家測試了來自MNIST數據庫中手寫數字識別的神經網絡，該數據庫被認為是訓練神經網絡識別圖像的標準。該數據庫包含超過70,000個手寫數字。這些數字中有六萬個用于訓練神經網絡，另外一萬個用于網絡測試。網絡中的神經元和混亂越多，識別圖像的效果就越好。網絡實現的最大精度為96.3%，而開發的體系結構使用的RAM不超過29 KB。此外，LogNNet使用很小的RAM大小(1-2kB范圍)證明了令人鼓舞的結果。微型控制器Atmega328可以嵌入到智能門甚至智能鞋墊中，具有大約相同的內存量。