Google的DeepMind開發了針對AI模型的IQ測試

機器能學會抽象地推理嗎?這是谷歌子公司DeepMind 發表的一篇新論文的主題，題為“ 測量神經網絡中的抽象推理 ”，本周在瑞典斯德哥爾摩舉行的國際機器學習會議上發表。

研究人員將抽象推理定義為在概念層面上檢測模式和解決問題的能力。在人類中，他們注意到，語言，空間和數學推理可以通過測試來經驗性地測量，任務主體通過梳理形狀位置和線條顏色之間的關系。但那些測試并不完美。

不幸的是，即使在人類的情況下，如果受試者準備太多，這樣的測試也可能無效，因為可以學習特定測試的啟發式方法，從而縮短了對普遍適用的推理的需求，”研究人員解釋說。“鑒于神奇網絡具有驚人的記憶能力，這種潛在的陷阱在神經網絡中更為嚴重。”

團隊的解決方案是一個生成器，它創建涉及一系列抽象因素的問題，包括“漸進”之類的關系以及“顏色”和“大小”之類的屬性。他們限制這些因素來創建不同的問題集 - 例如，揭示的謎題僅在應用于線條顏色時的漸進關系 - 用于測試和訓練機器學習模型。思維過去，非常精通的算法很可能能夠推斷出他們以前從未見過的概念。

大多數模型在測試中表現良好，有些模型的性能高達75%%; 研究人員發現，模型的準確性與推斷任務的潛在抽象概念的能力密切相關。他們通過訓練模型以“推理”答案，預測應該考慮解決問題的關系和屬性，設法提高績效。

“[有些模型]學會了解決復雜的視覺推理問題，”團隊寫道，“為此，[他們]需要從原始像素輸入中誘導和檢測抽象概念的存在，如邏輯運算和算術進展，以及將這些原則應用于從未觀察到的刺激。“

但即使是表現最佳的神經網絡Wild Relation Network(WReN)也有其局限性：它無法推斷出在訓練期間沒有看到的屬性值，并且在對先前看到的關系進行訓練時，它在泛化任務上的表現更差(例如，形狀數量的進展)或新屬性(大小)。

“我們的研究結果表明，對于泛化得出普遍的結論可能是無益的：我們測試的神經網絡在某些泛化方案中表現良好，而在其他方面表現得非常差，”該團隊在博客文章中寫道。“他們的成功取決于一系列因素，包括所用模型的架構以及該模型是否經過培訓，以便為其答案選擇提供可解釋的'理由'。”

最終結果可能是一個混合包，但研究人員還沒有放棄。他們打算探索改進概括的策略，并探索在未來模型中使用“結構豐富，但普遍適用”的歸納偏差。