在受大腦啟發的計算機上優化神經網絡

當網絡的動態處于“臨界點”時，許多計算屬性會最大化，在這種狀態下，系統可以通過基本方式快速更改其總體特征，例如在有序和混沌或穩定和不穩定性之間轉換。被廣泛認為對遞歸神經網絡中的任何計算都是最優的，遞歸神經網絡已在許多AI應用程序中使用。

來自HBP合作伙伴海德堡大學和馬克斯-普朗克動力學與自組織研究所的研究人員通過測試尖峰遞歸神經網絡在一組復雜任務上的復雜性(遠離關鍵動力學)的性能，對這一假設提出了挑戰。他們在模擬神經形態BrainScaleS-2系統的原型上實例化了網絡。BrainScaleS是先進的大腦靈感計算系統，具有直接在芯片上實現的突觸可塑性。它是歐洲人腦計劃目前正在開發的兩個神經形態系統之一。

首先，研究人員表明，可以通過更改輸入強度輕松地在芯片中調整到關鍵點的距離，然后證明關鍵點和任務執行之間存在明確的關系。關鍵性對每個任務都有益的假設尚未得到證實：盡管信息理論方法都表明，關鍵性條件下網絡容量最大，但只有復雜的，內存密集型任務會從中獲利，而簡單的任務實際上會受到影響。因此，該研究可以更準確地了解應如何將集合網絡狀態調整為不同的任務要求，以實現最佳性能。

從機械上講，通過調整平均輸入強度，可以很容易地在穩態可塑性下為每個任務設置最佳工作點。這種機制背后的理論是馬克斯·普朗克研究所最近開發的。MPIDS小組負責人Viola Priesemann說：“將其用于神經形態硬件上表明，這些可塑性規則非常有能力將網絡動態調整為與臨界距離不同的距離。” 因此，可以在該空間內最佳地解決各種復雜性的任務。

該發現還可以解釋為什么生物神經網絡不一定在臨界狀態下運行，而是在臨界點的動態豐富區域內運行，在那里它們可以根據任務要求調整其計算屬性。此外，它建立了神經形態硬件，作為探索生物可塑性規則對神經計算和網絡動力學的影響的快速且可擴展的途徑。

海德堡大學的第一作者本杰明·克萊默說：“下一步，我們現在研究并表征突刺網絡的工作點對人工和現實世界中的話語進行分類的影響。”