最新進展為深度學習網絡成功的原因提供了理論見解

深度學習系統正在徹底改變我們周圍的技術，從將您與手機配對的語音識別到越來越能夠看到并識別前方障礙物的自動駕駛汽車。但是，當涉及到深度學習網絡本身時，許多成功都涉及反復試驗。一群MIT研究人員最近回顧了他們對更好地理解深度學習網絡的理論貢獻，為該領域的發展提供了方向。

“深度學習在某種程度上是一個偶然的發現，”麥戈文腦科學研究所研究員，大腦，思維與機器中心(CBMM)主任，尤金·麥克德莫特(Eugene McDermott)腦與認知科學教授Tommy Poggio解釋說。 。“我們仍然不明白它為什么起作用。一個理論框架正在形成，我相信我們現在已經接近一個令人滿意的理論。現在該退后一步，回顧最近的見解。”

攀登數據山

我們當前的時代以數據的豐富為特征-來自各種類型的廉價傳感器，文本，互聯網的數據，以及生命科學中生成的大量基因組數據。如今，計算機攝取這些多維數據集，從而產生了一系列問題，這些問題被已故的數學家理查德·貝爾曼(Richard Bellman)稱為“維數詛咒”。

這些問題之一是，表示平滑的高維函數需要天文學上大量的參數。我們知道深度神經網絡特別擅長學習如何表示或近似于此類復雜數據，但是為什么呢?了解為什么可能有可能幫助推進深度學習應用程序。

“深度學習就像是在Volta發現電池之后，但在Maxwell之前，就像電一樣。” Poggio解釋說，他是MIT Quest for Intelligence核心組織的創始科學顧問，并且是計算機科學與人工智能實驗室(CSAIL)的研究員麻省理工學院。“在Volta之后肯定可以進行有用的應用，但這是Maxwell的電磁學理論，這種更深刻的理解為無線電，電視，雷達，晶體管，計算機和互聯網開辟了道路。”

Poggio，Andrzej Banburski和Qianli Liao的理論處理指出了深度學習為何可以克服諸如“維數詛咒”之類的數據問題的原因。他們的方法始于觀察到許多自然結構是分層的。建模樹木的生長和發育不需要我們指定每個樹枝的位置。相反，模型可以使用本地規則來分層驅動分支。當處理復雜數據時，靈長類動物的視覺系統似乎會做類似的事情。當我們查看自然圖像(包括樹木，貓和臉)時，大腦先后整合了局部圖像補丁，然后是小補丁集合，然后是補丁集合。