大腦的記憶能力會激發AI專家減少神經網絡的健忘能力

麻省大學阿默斯特分校和貝勒醫學院的人工智能(AI)專家報告說，他們已經從已知的人腦記憶機制中汲取了靈感，從而成功解決了所謂的“增加AI功能的長期存在的主要障礙”作為“重播”。

Baylor的第一作者和博士后研究員Gido van de Ven和首席研究員Andreas Tolias與UMass Amherst的Hava Siegelmann一起在Nature Communications中寫道，他們已經開發出一種新方法來保護“令人驚訝地有效”的深度神經網絡免受“災難性遺忘” ;“ 在學習新課程后，網絡會忘記他們以前學過的東西。

Siegelmann及其同事指出，深度神經網絡是最近AI發展的主要推動力，但這種遺忘阻礙了進步。

他們寫道：“一種解決方案是存儲先前遇到的示例，并在學習新知識時對其進行重新訪問。盡管這種“重播”或“排練”解決了災難性的遺忘，”他們補充說，“對所有先前學習的任務進行持續的重新培訓效率非常低，必須存儲的數據量很快變得難以管理。”

與AI神經網絡不同的是，人類可以在早期課程的基礎上不斷累積信息。他們解釋說，被認為可以保護記憶免受遺忘的大腦重要機制是重放代表這些記憶的神經元活動模式。

西格爾曼說，該團隊的主要見解是“認識到大腦中的重放不會存儲數據”。相反，“大腦可以在更高，更抽象的層次上生成記憶的表示，而無需生成詳細的記憶。” 受此啟發，她和同事們創造了類似于大腦的人工回放，其中沒有存儲任何數據。相反，就像大腦一樣，網絡會生成以前所見事物的高級表示。

事實證明，“抽象的生成性大腦重放”非常有效，并且該團隊表明，重放僅幾個生成的表示足以記住舊記憶，同時學習新記憶。生成性重放不僅可以防止災難性的遺忘，而且還為系統學習提供了一種新的，更簡化的路徑，它還使系統可以將學習從一種情況推廣到另一種情況。

例如，“如果我們具有生成性重放功能的網絡首先學會了將貓與狗分開，然后將熊與狐貍分開，那么它也會在沒有經過專門培訓的情況下告訴貓與狐貍。而且，值得注意的是，系統學到的越多，學習新任務越好。” van de Ven說。

他和同事寫道：“我們提出了一種全新的，受大腦啟發的重放方式，其中重放由網絡自身的上下文調制反饋連接生成的內部或隱藏表示。我們的方法實現了最新的性能在不存儲數據的情況下挑戰不斷學習基準的挑戰，它為大腦中的抽象水平重放提供了一種新穎的模型。”

Van de Ven說：“我們的方法對重播可能有助于大腦記憶鞏固的方式做出了一些有趣的預測。我們已經在進行實驗，以測試其中的一些預測。”