該工具有助于消除計算機視覺中的偏見

普林斯頓大學的研究人員開發了一種工具，用于標記用于訓練人工智能(AI)系統的圖像集中的潛在偏差。這項工作是糾正和防止AI系統中普遍存在的偏見的一項較大努力的一部分，該偏見影響了從信貸服務到法庭判決程序的所有內容。

盡管AI系統中偏見的來源多種多樣，但一個主要的原因是從在線資源收集的大量圖像中包含的定型圖像，工程師使用這些圖像來開發計算機視覺，這是AI的一個分支，允許計算機識別人，物體和動作。由于計算機視覺的基礎是建立在這些數據集上的，因此反映社會定型觀念和偏見的圖像會無意間影響計算機視覺模型。

為了從源頭上解決這個問題，普林斯頓視覺AI實驗室的研究人員開發了一種開源工具，該工具可以自動發現視覺數據集中的潛在偏差。該工具允許數據集創建者和用戶在使用圖像收集來訓練計算機視覺模型之前糾正代表性不足或刻板印象的問題。在相關工作中，視覺AI實驗室的成員發布了現有的防止計算機視覺模型自身偏差的方法的比較，并提出了一種新的，更有效的緩解偏差的方法。

第一個工具稱為REVISE(揭示視覺偏見)，它使用統計方法來檢查數據集的三個方面：基于對象，基于性別和基于地理位置的潛在偏見或代表性不足。REVISE是一種全自動工具，建立在早期工作的基礎上，涉及以需要用戶更多指導的方式來過濾和平衡數據集的圖像。該研究報告于8月24日在虛擬的歐洲計算機視覺會議上發表。

REVISE使用現有的圖像注釋和度量來評估數據集的內容，例如對象計數，對象和人的共現以及圖像的原產國。在這些測量中，該工具可顯示與中值分布不同的圖案。

例如，在一個經過測試的數據集中，REVISE顯示，男性和女性之間包含人和花朵的圖像有所不同：男性在儀式或會議上更經常出現帶花的情況，而女性則更傾向于出現在舞臺上或繪畫中。(分析僅限于反映圖像中出現的人的二元性別的注釋。)