新框架使AI系統更加透明而不犧牲性能

研究人員正在提出一個人工智能(AI)框架，該框架將允許用戶了解AI決策背后的原理。考慮到要遠離“黑匣子”人工智能系統，尤其是在和執法部門等需要證明決策依據的部門，這項工作意義重大。

該論文的第一作者，北卡羅來納州立大學計算機工程學助理教授吳天福說：“使我們的框架與眾不同的是，我們將這些可解釋性要素納入了AI培訓過程。”

“例如，在我們的框架下，當一個AI程序學習如何識別圖像中的對象時，它也在學習定位圖像中的目標對象，并解析滿足目標對象標準的局部性。然后將這些信息與結果一起顯示。”

在概念驗證實驗中，研究人員將框架整合到了廣泛使用的R-CNN AI對象識別系統中。然后，他們在兩個完善的基準數據集上運行該系統。

研究人員發現，將可解釋性框架整合到AI系統中，無論從時間還是準確性上都不會損害系統的性能。

Wu說：“我們認為這是實現完全透明的AI的重要一步。” “但是，仍有一些懸而未決的問題要解決。

“例如，該框架目前已通過AI向我們顯示了一個對象的位置，這些圖像被認為是目標對象的特征。那是定性的。我們正在研究使這種定量化的方法，置信度得分進入過程。”