AI研究人員討論了分享可能有害的程序的道德規范

研究實驗室OpenAI最近決定限制新算法的發布，這引起了AI社區的爭議。該非營利組織表示，由于對“惡意應用程序”的擔憂，它決定不分享該程序的完整版本，這是一種名為GPT-2的文本生成算法。但許多人工智能研究人員批評了這一決定，指責實驗室夸大危險這項工作構成了無意中引發了人工智能的“大規模歇斯底里”。

辯論范圍廣泛，有時甚至引起爭議。它甚至在人工智能研究人員中變成了一種模因，他們開玩笑說他們在實驗室中取得了驚人的突破，但目前的結果太危險了。更重要的是，它突出了整個社區面臨的一系列挑戰，包括難以與新聞界溝通新技術，以及平衡開放與負責任披露的問題。

所有大驚小怪的中心程序相對簡單。GPT-2是一類新的文本生成算法的最新例子，預計將在未來產生重大影響。當提供類似標題或故事的第一行的提示時，GPT-2會生成與輸入匹配的文本。結果多種多樣，但往往令人驚訝地連貫。例如，制作的新聞報道非常模仿真實文章的基調和結構，完成發明的統計數據和來自制作來源的報價。

從許多方面來說，它是一種有趣的工具，具有令人愉悅和驚喜的能力。但它并沒有人類理解和產生文本的能力。它生成文本但不理解它。OpenAI和外部專家一致認為，這本身并不是一個突破，而是一個前沿文本生成可以做的出色執行的例子。

OpenAI限制發布的原因包括GPT-2等程序可能會制作“誤導新聞文章”以及自動化垃圾郵件和濫用行為。出于這個原因，雖然他們發表了一篇描述該項工作的論文以及該項目的“小得多”版本，但研究人員仍保留了培訓數據和完整模型。在通常默認開放的人工智能研究領域，代碼，數據和模型被廣泛分享和討論，此舉和OpenAI的推理引起了很多關注。

反對OPENAI決定的論點

批評主要圍繞幾個關鍵點。首先，通過隱瞞模型，OpenAI阻止其他研究人員復制他們的工作。其次，模型本身并不像OpenAI所說的那樣構成威脅。第三，OpenAI沒有采取足夠的措施來抵制媒體炒作和歪曲這種AI新聞的傾向。

第一點非常簡單。雖然機器學習是一個相對民主的領域，但近年來，只有研究人員能夠提供驚人的突破，但人們越來越重視資源密集型研究。像GPT-2這樣的算法是使用大量的計算能力和大數據集創建的，兩者都很昂貴。有人認為，如果像OpenAI這樣資金充足的實驗室不會分享他們的結果，那么社區的其他人就會變得貧窮。

加州理工學院的人工智能教授兼Nvidia機器學習研究主任Anima Anandkumar告訴The Verge說： “這會讓學者處于極大的劣勢。” 在博客文章中，Anandkumar表示，OpenAI有效地利用其影響力“使ML研究更加封閉和無法訪問。”(在回復OpenAI宣布的推文中，她更坦誠，稱該決定為“惡意BS”。)

該領域的其他人對這一批評表示贊同，認為在可能有害的研究中，公開發表更為重要，因為其他研究人員可以在工作中尋找錯誤并提出對策。

說起邊緣，OpenAI科學家萬里布倫戴奇，誰在人工智能的社會影響的作品，說實驗室是這種權衡的“敏銳地意識到”。他通過電子郵件說，實驗室正在考慮通過邀請更多人來測試模型來“緩解”訪問受限的問題。

強調她以個人身份發言的Anandkumar也表示，OpenAI隱瞞該模式的理由并未加起來。雖然重新創建作品所需的計算能力超出了大多數學者的能力范圍，但任何有決心或資金充足的團隊都可以相對容易地獲得。這將包括那些可能從濫用算法中受益的人，比如民族國家組織在線宣傳活動。

Anandkumar表示，人工智能被用于自動化垃圾郵件和錯誤信息創建的威脅是一個真正的威脅，“但我不認為限制訪問這一特定模型將解決問題。”

Delip Rao是一名文本生成專家，曾參與使用AI檢測假新聞和錯誤信息的項目，他同意OpenAI所描述的威脅被夸大了。他指出，例如，假冒新聞，文本的質量很少成為障礙，因為這種錯誤信息的大部分都是通過復制和粘貼其他故事來實現的。“你不需要花哨的機器學習，”Rao說。他說，當涉及到逃避垃圾郵件過濾器時，大多數系統依賴于一系列信號，包括用戶的IP地址和最近的活動 - 而不只是檢查垃圾郵件發送者是否正在寫作。“我知道像[GPT-2]這樣的模型可以用于不健康的目的，但可以說是迄今為止發布的任何類似模型，”Rao說，他還寫了一篇關于這個主題的博客文章。“過于危險”這個詞在沒有經過深思熟慮或實驗的情況下隨便扔掉了。我不認為[OpenAI]花了足夠的時間證明它實際上是危險的。“

布倫戴奇說，實驗室咨詢外部專家以評估風險，但他強調OpenAI正在為日益復雜的文本生成系統的危險提供更廣泛的案例，而不僅僅是關于GPT-2。

“我們理解為什么有些人認為我們的聲明被夸大了，盡管區分我們所說的與其他人所說的很重要，”他寫道。“我們試圖突出GPT-2的當前能力以及更廣泛的系統類別的風險，我們應該更加精確地區分這種區別。”

布倫戴奇還指出，OpenAI希望在謹慎方面犯錯誤，他說發布完整模型將是一個“不可逆轉”的舉動。在上周接受The Verge 采訪時，OpenAI的政策主管將該技術與用于創建深度偽造的面部交換算法進行了比較。這些作為開源項目發布，很快就被世界各地的個人用于自己的用途，包括創建非自愿的色情內容。

AI媒體炒作的難度

研究人員說，雖然關于文本生成模型和學術訪問的危險性的爭論沒有明顯的結論，但與公眾溝通新技術的問題甚至更加棘手。

對OpenAI方法的批評者指出，“太危險而無法釋放”的角度成為大量報道的焦點，提供了一個多汁的標題，掩蓋了該技術帶來的實際威脅。像“Elon Musk的OpenAI構建的人工智能如此強大以至于必須為人類的利益而被鎖定”的頭條新聞很常見。(Elon Musk與OpenAI的關系是該實驗室長期存在的問題。他在2015年共同創立了該組織，但據報道，該組織去年幾乎沒有直接參與并辭去董事會職務。)

雖然對于他們的領域的不良報道感到沮喪對于科學家來說并不是一種新的經歷，但在人工智能研究方面，風險尤其高。這部分是因為公眾對人工智能的看法與實際能力不相符，但這也是因為該領域正在努力解決資金和監管等問題。如果普通公眾對AI過度擔心，是否會導致研究不那么有意義?