光學預處理使計算機視覺更強大更節能

圖像分析在現代技術中無處不在：從醫學診斷到自動駕駛汽車再到面部識別。使用深度學習卷積神經網絡(處理圖像的算法層)的計算機徹底改變了計算機視覺。

但是卷積神經網絡或CNN通過從先前訓練的數據中學習來對圖像進行分類，這些數據通常會記住或發展成見。他們還容易受到對抗性攻擊的侵害，這些攻擊的形式是圖像細微，幾乎無法察覺，從而導致錯誤的決策。這些缺點限制了CNN的用途。此外，人們越來越意識到與深度學習算法(如CNN)相關的碳足跡過高。

提高圖像處理算法的能效和可靠性的一種方法涉及將常規計算機視覺與光學預處理器相結合。這樣的混合系統以最少的電子硬件工作。由于光在預處理階段即可完成數學功能而不會耗散能量，因此使用混合計算機視覺系統可以節省大量時間和能源。這種新興方法可以克服深度學習的缺點，并利用光學和電子學的優勢。

在最近發表于Optica的一篇論文中，加州大學河濱分校機械工程學教授Luat Vuong和博士生Baurzhan Muminov通過應用光學渦旋，旋繞具有深色中心點的光波，證明了混合計算機視覺系統的可行性。漩渦可以比喻為光繞著邊緣和角落傳播時產生的流體動力漩渦。

渦流的知識可以擴展為了解任意波型。帶有旋渦時，光學圖像數據會以突出顯示并混合光學圖像不同部分的方式傳播。Muminov和Vuong指出，使用淺層“小腦”神經網絡進行的渦流圖像預處理(僅需運行幾層算法)就可以代替CNN發揮作用。

Vuong說：“光學渦旋的獨特優勢在于其數學，邊緣增強功能。” “在本文中，我們證明了光學渦旋編碼器以一種小的大腦神經網絡可以從其光學預處理模式快速重建原始圖像的方式生成物體強度數據。”

光學預處理可降低圖像計算的功耗，而電子設備中的數字信號識別相關性，提供優化并快速計算可靠的決策閾值。借助混合計算機視覺，光學器件具有速度和低功耗計算的優勢，并且CNN的時間成本減少了兩個數量級。通過圖像壓縮，可以在存儲和計算復雜性兩方面大幅減少電子后端硬件。

Vuong說：“我們在渦旋編碼器上的演示表明，光學預處理可以消除對CNN的需求，比CNN更加健壯，并且能夠概括反問題的解決方案。” “例如，我們表明，當混合神經網絡學習手寫數字的形狀時，它可以隨后重建以前從未見過的阿拉伯或日語字符。”

Vuong和Muminov的論文還表明，將圖像縮小為更少的高強度像素能夠實現極弱的圖像處理。該研究為光子學在構建通用的小腦混合神經網絡和開發用于大數據分析的實時硬件方面的作用提供了新見解。