精神閱讀腦解碼技術

研究人員已經演示了如何通過使用人工智能來解讀人們觀看視頻的fMRI掃描來解碼人類大腦所看到的東西，這些掃描代表了一種思維閱讀技術。

這一進展可能有助于改善人工智能并引發對腦功能的新見解。該研究的關鍵是一種稱為卷積神經網絡的算法，它有助于計算機和智能手機識別面部和物體。

“這種類型的網絡近年來在計算機視覺領域產生了巨大的影響，”普渡大學韋爾登生物醫學工程學院和電氣與計算機工程學院助理教授劉忠明說。“我們的技術使用神經網絡來理解你所看到的東西。”

卷積神經網絡是一種“深度學習”算法，已被用于研究大腦如何處理靜態圖像和其他視覺刺激。然而，新的發現代表了第一次使用這種方法來觀察大腦如何處理自然場景的電影，這是人們試圖理解復雜和動態視覺環境時解碼大腦的一步，博士生海光說。溫家寶。

他是10月20日在線發表于Cerebral Corte x 期刊的新研究論文的第一作者。

研究人員從觀看972個視頻剪輯的三名女性受試者中獲取了11.5小時的fMRI數據，其中包括那些在行動和自然場景中展示人或動物的視頻剪輯。首先，數據用于訓練卷積神經網絡模型，以預測受試者觀看視頻時大腦視覺皮層的活動。然后他們使用該模型解碼來自受試者的fMRI數據以重建視頻，甚至是模型從未觀看過的視頻。

該模型能夠將fMRI數據準確地解碼為特定的圖像類別。然后，實際的視頻圖像與計算機根據fMRI數據解釋人的大腦所看到的內容并排呈現。

“例如，水動物，月亮，海龜，人，飛行中的鳥，”溫說。“我認為這項工作的一個獨特之處在于我們幾乎實時地進行解碼，因為主體正在觀看視頻。我們每兩秒鐘掃描一次大腦，模型會重建視覺體驗。 “

研究人員能夠弄清楚大腦中的某些位置是如何與一個人所看到的特定信息相關聯的。“神經科學試圖繪制大腦的哪些部分負責特定的功能，”溫說。“這是神經科學的一個里程碑式的目標。我認為我們在本文中所報告的內容使我們更接近實現這一目標。一輛汽車在建筑物前面移動的場景被大腦分解成一些信息：一個位置在大腦可能代表汽車;另一個位置可能代表建筑物。

使用我們的技術，您可以可視化任何大腦位置所代表的特定信息，并篩選大腦視覺皮層中的所有位置。通過這樣做，你可以看到大腦如何將視覺場景分成碎片，并將碎片重新組裝成對視覺場景的完全理解。“

研究人員還能夠使用來自一個人類受試者的數據訓練的模型來預測和解碼不同人類受試者的大腦活動，該過程稱為跨受試者編碼和解碼。這一發現很重要，因為它證明了這種模型廣泛應用于研究大腦功能的可能性，即使對于視力缺陷的人也是如此。

“我們認為我們正在進入機器智能和神經科學的新時代，研究的重點是這兩個重要領域的交叉點，”劉說。“我們的使命一般是利用大腦啟發的概念來推進人工智能。反過來，我們希望使用人工智能來幫助我們理解大腦。因此，我們認為這是一個很好的策略來幫助推進這兩個領域的方式，如果我們單獨接觸他們就不會完成。“