研究人員開發了開源工具來檢查AI系統中的數據泄漏

許多智能手機應用程序(例如語音轉文本程序和Google Assistant)都由人工智能(AI)提供支持。公司還使用AI改善營銷策略，向用戶推薦產品和服務，甚至生成有關患者可能的健康風險的預測。

為了使AI系統能夠提供此類見解，它們需要接受相關數據的培訓，例如個人的購買習慣或醫療記錄，其中可能包含有關個人的敏感信息。一旦訓練了AI模型，它就不會保留任何原始訓練數據。這樣可以確保即使黑客撬開這些AI程序的內部功能，他們也不會收獲任何敏感信息。

但是，近年來，安全和隱私研究人員表明，AI模型易受推理攻擊的攻擊，使黑客能夠提取有關訓練數據的敏感信息。攻擊涉及黑客反復要求AI服務生成信息并分析數據的模式。一旦確定了模式，他們就可以推斷出是否使用特定類型的數據來訓練AI程序。使用這些攻擊，黑客甚至可以重建最有可能用于訓練AI引擎的原始數據集。

這種攻擊正成為全球許多組織關注的問題。例如，2009年，美國國立衛生研究院(NIH)發生了類似的攻擊，NIH必須更改其對敏感醫學數據的訪問策略。

新加坡國立大學計算機學院(NUS Computing)的助理教授Reza Shokri解釋說：“由于系統僅假設黑客在提供信息時是常規用戶，因此難以檢測到推理攻擊。因此，公司目前無法知道他們的AI服務是否有風險，因為目前沒有現成的成熟工具。”

機器學習隱私權評估儀評估攻擊風險

為了解決這個問題，同時也是國大總統年輕教授的Shokri教授及其團隊開發了一種成熟的開源工具，可以幫助公司確定其AI服務是否易受此類推理攻擊。該分析基于所謂的成員資格推斷攻擊，旨在確定特定數據記錄是否為模型訓練數據的一部分。通過模擬這樣的攻擊，隱私分析算法可以量化模型在其訓練集中有關各個數據記錄泄漏的程度。這反映了嘗試完全或部分重建數據集的不同攻擊的風險。它會生成大量報告，尤其是在所使用的培訓數據中突出顯示脆弱區域。