研究人員發現AI語言技術中的定型觀念的起源

一組研究人員已經確定了一套文化定型觀念，并將其引入到語言開發的人工智能模型中，這一發現加深了我們對影響搜索引擎和其他AI驅動工具產生的結果的因素的理解。

“我們的工作確定了人們在學習英語時會廣泛使用的AI語言模型的刻板印象。我們正在尋找的模型以及其他語言的模型，是大多數現代語言技術的基礎，從翻譯系統到回答問題的行業工具個人助理進行簡歷篩選，突顯了當前使用這些技術所造成的真正危險，”紐約大學語言學系和數據科學中心助理教授山姆·鮑曼(Sam Bowman)說，作者。“我們希望這項工作和相關項目將鼓勵未來的研究，以建立更公平的語言處理系統。”

這項工作與最近的獎學金相吻合，例如Safiya Umoja Noble的“壓迫算法：搜索引擎如何增強種族主義”(紐約大學出版社，2018年)，它記錄了種族和其他偏見如何困擾廣泛使用的語言技術。

該論文的其他作者是紐約大學數據科學中心的博士候選人Nikita Nangia，紐約大學數據科學中心的博士后研究員Clara Vania和紐約大學坦登工程學院的博士候選人Rasika Bhalerao。

“事實證明，“仇恨言論”檢測器偏向于非裔美國白話英語，事實證明，自動聘用決策偏向于支持現狀，自動文本生成器很容易被誘騙輸出種族主義言論，巴拉勒勞(Bhalerao)說，指的是以前的相關研究。

Nangia補充說：“通過量化語言模型中的偏差，我們可以從根本上識別和解決問題，而不是從頭開始。”

這項工作在2020年自然語言處理經驗方法會議論文集中進行了描述。

近年來，應用語言理解技術的進步主要是由通用語言表示模型的使用推動的，該模型通過將它們暴露于大量的互聯網文本中進行訓練。這些模型在培訓過程中學習了大量關于語言的知識，但是他們在學習語言的同時也學習了語言，從而從人們的寫作中了解了世界的運作方式。這使系統在典型的AI基準上表現良好，但也引起了一些問題：“盡管我們在使用這些模型方面看到了很多進步，但這些模型還獲得了反映在數據中的社會偏見，” Vania解釋說。“當這些模型用于決策時，這將是有害的，尤其是當它們用于 要求對一些描述有色人種的文字或任何其他面臨廣泛刻板印象的社會群體做出決定。在這里，我們專注于隔離和衡量語言模型中特定類型的陳規定型觀念，但是在減輕這些偏見以及識別和減輕類似系統加強不平等的其他方式方面，還有許多工作要做。”