評估機器學習代理認知能力的框架

在過去的十年左右的時間里，計算機科學家已經開發了機器學習(ML)技術，該技術在各種任務上的表現都非常出色。盡管這些算法是為人為地復制人類的認知技能而設計的，但仍然缺少將其能力與人類的能力進行比較的工具。

考慮到這一點，印度Savitribai Phule Pune大學(SPPU)的兩名研究人員最近創建了一個框架來執行機器學習代理的認知評估。這種獨特的框架在Elsevier的《認知系統研究》期刊上發表的一篇論文中概述，從心理學理論和機器認知所描述的人類認知中汲取了相似之處。

研究人員之一Suvarna Kadam表示：“當我開始進行有關少數射擊學習(FSL)的核心研究時，我和我的顧問考慮了人類如何能夠輕松地從視覺上學習對物體進行分類以及為何機器如此困難”告訴TechXplore進行了這項研究。“人類可以概括化，但是機器發現它具有很大的挑戰性。對最新的FSL方法的快速分析使我們意識到，不僅很難用性能指標來評估“學到了多少”，而且我們常常還不知道機器是真正理解手頭的任務還是僅僅模仿它。”

一旦他們意識到缺乏評估ML技術認知的可靠方法，Kadam和她的主管Vinay Vaidya就開始問自己有關機器認知以及如何對其進行有效評估的基本問題。最終，他們決定設計一種結構化的方法，以幫助研究人員了解機器如何獲得新技能并評估他們實際學習了多少。他們創建的框架提供了一種思考機器認知的簡單方法，與人類認知相提并論。

卡達姆解釋說：“我們決定利用人類在人類如何學習以及他們如何衡量學習方面的集體智慧。” “我們的框架使用人類認知理論來提供逐步指導，以評估機器在任何領域的學習。它主張我們列出一個領域的任務，并檢查它們是簡單還是具有挑戰性的實施，然后允許我們按照分類法安排任務他們的認知困難。”

Kadam和Vaidya創建的框架旨在促使人們反思使任務比其他任務更難或更容易解決的問題。通常根據學習者在特定任務上的表現來評估人類學習。研究人員提出的框架可以利用一種稱為任務分類法的概念來評估機器對特定任務的認知。

卡丹說：“由于人類非常擅長概括并快速適應新任務，因此我們也展示了如何量化機器的概括潛力。” “我們的研究首次強調了機器顯示出更高智能的事實，我們必須超越性能指標來對其進行測量。”

Kadam和Vaidya在最近的論文中使用他們的框架比較了兩種最新的ML技術。因此，對于試圖確定“最佳” ML模型以完成不同選擇中的特定任務的其他研究團隊而言，它也可能會有用。

將來，相同的框架還可以幫助更好地了解機器的預測或動作背后的過程。這最終可以提高AI系統的可靠性，使開發人員可以對其認知能力有更深入的了解。

卡達姆說：“在這個框架下，我們探索了認知和學習是如何交織在一起的，并且學習在很大程度上受到認知的影響。” “但是，學習也受到學習者所擁有的技能和態度的極大影響。如果能夠將我們的工作擴展到評估機器的身體和情感技能，那將非常有趣。盡管機器的情感技能看起來遙不可及尚未實現的機器已經在緊密的人際互動中使用(例如，聊天機器人，護理或陪伴機器人等)，因此我們認為也應該對它們的情緒商進行測試。