一種硅圖像傳感器可計算

任何駕駛員都知道，事故可能在眨眼之間發生——因此，對于自動駕駛汽車的攝像頭系統，處理時間至關重要。系統拍攝圖像并將數據傳送到微處理器進行圖像處理所需的時間可能意味著避開障礙物或發生重大事故之間的差異。

傳感器內圖像處理，通過圖像傳感器本身而不是單獨的微處理器從原始數據中提取重要特征，可以加快視覺處理速度。迄今為止，傳感器內處理的演示僅限于新興的研究材料，至少目前很難將其納入商業系統。

現在，來自哈佛大學約翰A.保爾森工程與應用科學學院(SEAS)的研究人員開發了第一個可以集成到商業硅成像傳感器芯片中的傳感器內處理器——稱為互補金屬氧化物半導體(CMOS)圖像傳感器——用于幾乎所有需要捕獲視覺信息的商業設備，包括智能手機。

該研究發表在《自然電子學》上。

“我們的工作可以利用主流的半導體電子行業，將傳感器計算快速引入各種現實世界的應用中，”SEAS電氣工程和應用物理學GordonMcKay教授、該論文的高級作者DonheeHam說.

Ham和他的團隊開發了一種硅光電二極管陣列。市售的圖像傳感芯片也有一個硅光電二極管陣列來捕捉圖像，但該團隊的光電二極管是靜電摻雜的，這意味著單個光電二極管或像素對入射光的靈敏度可以通過電壓進行調節。將多個電壓可調光電二極管連接在一起的陣列可以執行模擬版本的乘法和加法運算，這些運算是許多圖像處理管道的核心，一旦圖像被捕獲，就可以提取相關的視覺信息。

“這些動態光電二極管可以在捕獲圖像時同時過濾圖像，允許將視覺處理的第一階段從微處理器轉移到傳感器本身，”SEAS的博士后研究員和該論文的第一作者HoukJang說。

硅光電二極管陣列可以編程到不同的圖像過濾器中，以消除各種應用中不必要的細節或噪聲。例如，自動駕駛汽車中的成像系統可能需要高通濾波器來跟蹤車道標記，而其他應用程序可能需要模糊濾波器以降低噪音。

“展望未來，我們預計這種基于硅的傳感器內處理器不僅可以用于機器視覺應用，還可以用于仿生應用，其中早期的信息處理允許傳感器和計算單元共同定位，例如大腦，”SEAS的研究生、該論文的共同第一作者HenryHinton說。

接下來，該團隊的目標是增加光電二極管的密度，并將它們與硅集成電路集成。

“通過將商用硅圖像傳感器中的標準非可編程像素替換為此處開發的可編程像素，成像設備可以智能地剔除不需要的數據，從而在能量和帶寬方面更加高效，以滿足下一代圖像傳感器的需求。感官應用，”Jang說。