研究人員衡量下一代AI的可靠性和信心

一支由陸軍和工業研究人員組成的團隊開發了一種神經網絡度量標準，即可以根據人腦進行松散建模的計算系統，可以評估下一代人工智能和機器學習算法的可靠性和可信度。深度神經網絡(DNN)是一種使用訓練數據進行學習的機器學習形式。一旦接受培訓，他們就可以在獲得新的信息或輸入時做出預測;但是，如果新信息超出其培訓范圍，它們很容易被欺騙。

研究人員說，鑒于培訓數據中信息的多樣性和潛在的新投入，提出解決方案具有挑戰性。

美國陸軍作戰能力發展司令部陸軍研究實驗室的科學家Brian Jalaian博士說：“這為創建強大而有彈性的下一代算法提供了新的研究機會。” “我們的方法是通用的，可以使用基于基于可視圖像的深度神經網絡的現代機器學習算法，作為陸軍許多現代算法的附加模塊。”

賈拉安說，這一新的置信度指標將幫助陸軍創建安全的機器學習技術，并將應用于指揮和控制系統，精確射擊和決策支持系統。

自2018年以來，來自陸軍和SRI International的研究人員通過實驗室的``戰地事物協作研究聯盟''互聯網，研究了強化陸軍機器學習算法的方法，以提供更高的可靠性和安全性，并降低對抗性機器學習技術的敏感性。

研究人員在2019年的神經信息處理系統大會上發表了他們的論文《深度神經網絡的基于歸因的置信度指標》。

賈拉安說：“雖然我們取得了一些成功，但我們沒有一種方法來檢測最強大的最新攻擊，例如(對抗性)補丁，這些攻擊會給圖像增加噪音，從而導致錯誤的預測。” “在這項工作中，我們提出了一個生成模型，該模型可以調整底層原始深層神經網絡中原始輸入圖像的各個方面。然后評估原始深層神經網絡對這些生成的輸入的響應，以測量模型的一致性。”

Jalaian說，這與現有的研究機構不同，因為它不需要訪問訓練數據，不需要使用集成程序，也不需要在與訓練集不同的驗證數據集上訓練校準模型。

在陸軍內部，研究人員繼續與測試和評估社區合作，開發容器化算法，以衡量各種算法在不同應用程序中的置信度。

賈拉安(Jalaian)表示，他們正在探索可用于改進陸軍AI系統對抗對抗操作的生成模型的各種變化，并研究從理論上和經驗上都可以在小型智能設備中執行的神經網絡模型的彈性，例如是《戰地物聯網》的一部分。