如何判斷機器學習系統是否足夠強大

麻省理工學院的研究人員已經設計出一種方法，用于評估被稱為神經網絡的機器學習模型如何用于各種任務，通過檢測模型何時出錯而不應該這樣做。

卷積神經網絡(CNN)旨在處理和分類圖像以用于計算機視覺和許多其他任務。但是人眼難以察覺的輕微修改 - 比如圖像中的一些較暗的像素 - 可能會導致CNN產生截然不同的分類。這些修改被稱為“對抗性示例”。研究對抗性示例對神經網絡的影響可以幫助研究人員確定他們的模型如何容易受到現實世界中意外輸入的影響。

例如，無人駕駛汽車可以使用CNN來處理視覺輸入并產生適當的響應。如果汽車接近停車標志，它將識別標志并停止。但是2018年的一篇論文發現，在停車標志上放置一個黑白貼紙實際上可以欺騙無人駕駛汽車的CNN對標志進行錯誤分類，這可能會導致它根本不會停止。

然而，沒有辦法完全評估大型神經網絡對所有測試輸入的對抗性示例的彈性。在他們本周在國際學習代表會議上發表的一篇論文中，研究人員描述了一種技術，對于任何輸入，要么找到對抗性的例子，要么保證所有被擾動的輸入 - 仍然看起來與原始相似 - 被正確分類。通過這樣做，它可以測量網絡對特定任務的穩健性。

類似的評估技術確實存在，但還無法擴展到更復雜的神經網絡。與這些方法相比，研究人員的技術運行速度提高了三個數量級，并且可以擴展到更復雜的CNN。

研究人員評估了CNN的穩健性，旨在對MNIST手寫數字數據集中的圖像進行分類，其中包括60,000個訓練圖像和10,000個測試圖像。研究人員發現，大約4%的測試輸入可能會受到輕微擾動，從而產生可能導致模型進行錯誤分類的對抗性示例。

第一作者，計算機科學與人工智能實驗室(CSAIL)的研究生Vincent Tjeng說：“對抗性的例子欺騙了一個神經網絡，使人們不會犯錯誤。” “對于給定的輸入，我們想要確定是否有可能引入小的擾動，這會導致神經網絡產生與通常情況下截然不同的輸出。通過這種方式，我們可以評估不同神經網絡的穩健程度，找到至少一個與輸入類似的對抗性示例，或者保證不存在該輸入。“

加入Tjeng的是CSAIL研究生Kai Xiao和Russ Tedrake，CSAIL研究員和電氣工程與計算機科學系(EECS)教授。

CNN通過包含稱為神經元的單元的許多計算層來處理圖像。對于對圖像進行分類的CNN，最后一層由每個類別的一個神經元組成。CNN基于具有最高輸出值的神經元對圖像進行分類。考慮一個CNN，旨在將圖像分為兩類：“貓”或“狗”。如果它處理貓的圖像，“貓”分類神經元的值應該更高。當對該圖像的微小修改導致“狗”分類神經元的值更高時，會出現對抗性示例。

研究人員的技術檢查對圖像每個像素的所有可能修改。基本上，如果CNN為每個修改的圖像分配正確的分類(“cat”)，則不存在該圖像的對抗性示例。

該技術的背后是“混合整數規劃”的修改版本，這是一種優化方法，其中一些變量被限制為整數。本質上，混合整數規劃用于在給定變量的某些約束的情況下找到一些目標函數的最大值，并且可以被設計為有效地擴展以評估復雜神經網絡的魯棒性。

研究人員設定了限制，允許每個輸入圖像中的每個像素都被提亮或變暗達到一定的設定值。給定限制，修改后的圖像看起來仍然與原始輸入圖像非常相似，這意味著CNN不應該被愚弄。混合整數編程用于找到可能導致錯誤分類的像素的最小可能修改。

這個想法是調整像素可能會導致錯誤分類的值上升。例如，如果將貓圖像輸入到寵物分類CNN中，則算法將保持擾動像素以查看它是否可以將對應于“狗”的神經元的值提高到高于“貓”的值。

如果算法成功，則它已找到輸入圖像的至少一個對抗性示例。該算法可以繼續調整像素以找到導致錯誤分類所需的最小修改。最小修改越大 - 稱為“最小對抗性失真” - 網絡對抗對抗性的例子就越強。然而，如果正確的分類神經元針對所有不同的修改像素組合觸發，則算法可以保證圖像沒有對抗性示例。

“鑒于一個輸入圖像，我們想知道我們是否可以通過觸發錯誤分類的方式對其進行修改，”Tjeng說。“如果我們不能，那么我們就可以保證我們在整個空間中搜索了允許的修改，并發現原始圖像沒有被錯誤分類的擾動版本。”

最后，這會生成一個百分比，表示有多少輸入圖像具有至少一個對抗性示例，并保證其余部分沒有任何對抗性示例。在現實世界中，CNN擁有許多神經元，并將在大量數據集上進行數十種不同的分類訓練，因此該技術的可擴展性至關重要，Tjeng說。

“在針對不同任務設計的不同網絡中，CNN對于對抗性的例子非常重要，”他說。“我們可以證明沒有對抗性的例子，測試樣本的分數越大，網絡暴露于擾動輸入時應該表現得越好。”

“由于幾乎所有[傳統]防御機制都可以再次被打破，因此可靠性對穩健性的影響非常重要，”薩爾州大學數學與計算機科學教授馬蒂亞斯海因說，他沒有參與這項研究，但嘗試了這項技術。“我們使用確切的驗證框架來證明我們的網絡確實很強大...... [和]使得與正常培訓相比也可以驗證它們。”