網聊10分鐘被騙430萬

話題“AI 詐騙正在爆發”沖上熱搜，引發熱議。

鈦媒體App 5月23日消息，近日，內蒙古自治區包頭市公安局電信網絡犯罪偵查局發布一起使用智能AI技術進行電信詐騙的案件，騙子通過智能AI換臉和擬聲技術，佯裝好友對福州市某科技公司法人代表郭先生實施了詐騙，10分鐘內被騙了430萬元。

5月8日，包頭市公安局電信網絡犯罪偵查局發布一起使用智能AI技術進行電信詐騙的案件，警銀聯動成功緊急止付涉嫌電信詐騙資金330多萬元。

事件從4月20日說起。

據平安包頭公眾號所述，20日中午，郭先生的好友突然通過微信視頻聯系他，自己的朋友在外地競標，需要430萬保證金，且需要公對公賬戶過賬，想要借郭先生公司的賬戶走賬。基于對好友的信任，加上已經視頻聊天核實了身份，郭先生沒有核實錢款是否到賬，就分兩筆把430萬轉到了好友朋友的銀行卡上。郭先生撥打好友電話，才知道被騙。

騙子通過智能AI換臉和擬聲技術，佯裝好友對他實施了詐騙。“從頭到尾都沒有和我提借錢的事情，就說會先把錢給我打過來，再讓我給他朋友賬戶轉過去，而且當時是給我打了視頻的，我在視頻中也確認了面孔和聲音，所以才放松了戒備”，郭先生說。

幸運的是，接到報警后，福州、包頭兩地警銀迅速啟動止付機制，在銀行的全力協助下，僅用時10分鐘，成功止付攔截336.84萬元，但仍有93.16萬元被轉移，目前福建警方與包頭警方對此資金正在全力追繳當中。

這不只是個案，最近一段時間國內外都出現了 AI 詐騙案例，用戶損失慘重。

隨著ChatGPT風靡全球，生成式 AI 有望取代更多人類工作，在文字創作、AI繪畫、AI翻譯、AI客服等方面替代人工。但同時，AI 技術被濫用風險加劇，一些犯罪分子盯上了 AI 技術，實施電信詐騙，讓人防不勝防，同時凸顯了 AI 生成虛假信息所帶來的社會危險。

AI詐騙正在全球蔓延

成功率接近100%

實際上，AI 換臉技術并非是近期才興起。

早在2017年，一位名為DeepFake網友將情色電影中的女主角換臉成好萊塢明星蓋爾·加朵(Gal Gadot)，這是AI換臉技術首次出現在公眾視野當中。后來由于大量投訴者表示不滿，其賬號被官方封禁，而此后的AI換臉技術則以他的名字命名為“DeepFake”。

AI 換臉真正在國內火起來是在2019年初，一段通過AI技術將《射雕英雄傳》中黃蓉扮演者朱茵的臉替換為楊冪的視頻在網絡上熱傳，引發大家對于 AI 是否會侵犯人的肖像版權問題。制作者肖先生對此回應稱：主要適用于技術交流，不會用于營利行為。

5月22日晚，“冷門歌手”孫燕姿更新動態，回應“AI孫燕姿”翻唱刷爆全網事件。“我想說，你跟一個每幾分鐘就推出一張新專輯的人還有什么好爭的。人類無法超越它已指日可待。”

AI孫燕姿演唱《可能》

有人通過模型訓練和后期處理，讓AI模仿孫燕姿的聲音重新演繹諸多熱門金曲。短短一個多月，“AI孫燕姿”已發歌近千首，遠超本人職業生涯的歌曲總和。

如今，AI 技術已被不法分子盯上，并用于各類層出不窮的換臉花樣。

多地都出現了 AI 詐騙案例，不少普通人被所謂的“私密照片”敲詐勒索。

據華西都市報此前報道，2022年2月，有位陳先生到浙江溫州市公安局甌海分局仙巖派出所報案稱，自己被“好友”詐騙了近5萬元。經警方核實，詐騙分子利用陳先生好友“阿誠”在社交平臺發布的視頻，截取其面部視頻畫面后再利用“AI換臉”技術合成，制造陳先生與“好友”視頻聊天的假象騙取其信任，從而實施詐騙。

2021年，浙江溫州公安曾發布消息稱，受害人小陳在與女網友視頻聊天后被對方敲詐勒索，經警方調查，對方利用AI換臉技術，將小陳視頻中的面部合成到不雅視頻中，借此對其實施勒索。

2020年，上海某公司高管因對方使用AI換臉與人工生成的語音技術制作公司領導的面孔，并要該高管轉賬，致使該高管被詐騙150萬元。

這類 AI 騙局不止在國內發生。

據Gizmodo報道，英國最近同樣發生了一起涉及高達22萬英鎊(約合192.4萬元)的詐騙案件。一位當地能源公司CEO在不知情的情況下被騙子“DeepFake”了自己的聲音。隨后，騙子用他這段聲音，電話轉賬了22萬英鎊到騙子自己的匈牙利賬戶，后來本人才發現是一個AI合成語音的騙局。

社交平臺賬戶分享的一張聲稱顯示五角大樓附近發生爆炸的假圖片

昨天在美國瘋傳的五角大樓爆炸圖，則是最新的 AI 欺騙案例。

美東時間周一(22日)，一張由 AI 生成的五角大樓附近地區發生爆炸的圖片在社交網絡上瘋傳，推文稱五角大樓附近地區發生了爆炸，目前最初帖子已被刪除。

多家美媒都報道了這一消息，CNN稱，圖片中建筑物看上去并不像五角大樓。美國國防部發言人隨后證實，這張在谷歌搜索和推特上瘋傳的圖片是一條“虛假信息”，五角大樓所在的阿靈頓消防和急救部門發推文成 ：“沒有爆炸或事故”，也沒有“對公眾造成直接危險或危害”。

福布斯新聞網稱，該圖片的來源尚未確定，但這可能是 AI 生成非常逼真的“深度偽造”圖像。報道指，盡管五角大樓爆炸從未發生，五角大樓爆炸圖卻依然瘋傳，凸顯了 AI 生成虛假信息所帶來的危險。

據湖北網警巡查執法5月6日消息，AI技術改變詐騙，新騙局來襲后，詐騙成功率竟接近100%。

如何防范AI詐騙?

目前，AI詐騙常用手法主要包括聲音合成(騙子通過騷擾電話錄音等來提取某人聲音，獲取素材后進行聲音合成再做騙局)，AI換臉，轉發微信語音，AI程序篩選受害人(例如實施金融詐騙時，可以篩選出經常搜索投資理財信息的人群)等。

那么，AI 詐騙這種“高科技”手法已經在社會產生了不良影響，我們該如何防范?

國內 AI 安全公司瑞萊智慧聯合創始人、算法科學家蕭子豪對鈦媒體App表示，如果遇到這類疑似AI換臉詐騙的情況，可以在視頻時有意識地引導對方做一些動作，如大幅度的搖頭或張嘴;如果騙子技術手段較弱，那么有可能發現對方面部邊緣或者牙齒的瑕疵，從而識別出AI換臉;如果疑似是聲音偽造，可以試一下與對方用方言交流;此外還可以追問幾個只有你與好友之間才知道的私密信息，來核實對方身份。

“在防止自己上當受騙的同時，還要注意保護好個人圖像，盡量避免在公開平臺大量曬自己的照片和視頻，給不法分子提供便利。因為深偽制作的原材料是個人音頻、圖片、視頻，這些數據越多，訓練出的視頻也就越逼真、越難以鑒別。”蕭子豪表示。

警方則提醒，對于新型詐騙方式有以下三種防范措施：

如果有人要求你分享個人身份信息，如你的地址、出生日期或名字要小心，對突如其來的電話保持警惕，即使是來自你認識的人，因為來電顯示的號碼可能是偽造的，多重驗證，確認身份;

不輕易提供人臉、指紋等個人生物信息給他人，不過度公開或分享動圖、視頻等，陌生鏈接不要點，陌生軟件不要下載，陌生好友不要隨便加，防止手機、電腦中病毒，微信、QQ等被盜號，保護信息，避免誘惑;

提高安全防范意識，如不慎被騙或遇可疑情形，請注意保護證據立即撥打96110報警。

事實上，隨著 AI 技術加速變革同時，營造創新生態、重視防范風險，正在成為整體 AI 技術行業亟待解決的關鍵性問題。

據清華大學人工智能研究院等部門發布的《深度合成十大趨勢報告(2022)》顯示，創作者在互聯網平臺中發布的深度合成內容的數最星高速增長，以視頻為例，2021年新發布的深度合成視頻的數量，較2017年已增長10倍以上。

在第七屆世界智能大會上，中國科學院院士管曉宏認為，安全性如果得不到保證，AI 系統的應用將會受到極大的挑戰。中國汽車技術研究中心有限公司董事長安鐵成也表示，網絡和數據安全的風險日益成為影響產業發展和國際安全的重要因素。

5月17日，OpenAI CEO山姆·阿爾特(12.210, -0.29, -2.32%)曼(Sam Altman)出席美國國會聽證會，并在聽證會上大聲呼吁世界應該要設立可以規范和監管AI 的獨立機構。最新消息是，5月23日，OpenAI聯合創始人們再度呼吁，AI 的創新步伐太快，世界需要一個類似管理核能的國際監管機構來管理 AI 的發展。

蕭子豪告訴鈦媒體App，和其他通用目的技術一樣，AI 也具有“雙刃劍”效應，兼具建設性和破壞性，面臨著“科林格里奇困境”，而大模型的安全問題應該從底層技術來研究解決，主要的應對方式包括安全評估、風險緩解等，通過 AI 安全平臺RealSafe等產品幫助人類明晰真偽的邊界。

蕭子豪強調，隨著 AI 技術的發展，其自身的安全問題會越來越重要，需要監管部門、AI廠商和公眾的共同努力。從長遠來看，AI 的安全問題還應從模型算法的原理上來突破。