新聞 > 科教 > 正文

2億詐騙案一年後,AI換臉犯罪更瘋狂了

某社交平台上「AI換臉服務」帖子下,回復清一色:「視頻,照片,隨便換」。某二手平台上,用戶僅需提供5秒視頻和清晰五官照片,支付9.9元即可獲得定製化換臉視頻,2.9元的低價安裝包也讓粗糙的換臉工具觸手可及。

定製換一張臉成本有多高?答案是——只需要一杯奶茶錢。在各大平台上,換臉服務比比皆是,只需要9塊9,就能迅速獲得一個真假難辨的換臉內容。

隨著AI技術的迅速演進,有關DeepFake(深度偽造)的討論也愈演愈烈。

相關受害人,從全球知名藝人泰勒·斯威夫特、跨國公司高管、韓國未成年人,再到今年過年因AI配音洗版的雷軍。2024年國慶期間,未經授權的雷軍AI語音包和換臉視頻在網絡上瘋傳,網友調侃:「十一放了七天假,八天被雷軍罵醒。」

不久之前,「雷軍稱AI換臉擬聲成違法重災區」話題也登上微博熱搜第二,相關討論量達到了1.4萬,足以見得DeepFake正成為困擾多數網友的一把利刃。

正如雷軍所言:「剛開始我覺得是網友喜聞樂見,拿我開涮我也能接受,但內容比較低劣,多到不得了的時候,就防不勝防,而且網友們也在投訴」。

深度偽造帶來的各類風險,該被重視起來了。

震驚一時的香港最大AI詐騙案

震驚一時的中國香港跨國公司詐騙案,曾經描述過如此戲謔的一幕。

跨國工程公司Arup香港分公司的一位員工,有一天突然收到了一封會議郵件,邀請他參加一場由總部高管發起的重要會議。

起初他有些懷疑,但隨著他進入會議,看到了一張張熟悉的高管面孔,警惕性也逐漸放了下去。包括該公司CFO在內的多位高管不僅入會了,還都開著視頻和麥克風,在發言中他們談論到了一起秘密收購案件,討論過後這些高管還給中層布置了任務。

這位員工在會議中未進行任何發言,但對此次會議的真實性已全然接受,散會後,郵件和即時通訊消息就來了。其中的一位領導要求這名員工將2億港元(約合1.8億元人民幣)分別轉入5個帳戶中。

這名員工就這麼照做了,5天後,在與真正總部的溝通中,他發現,自己被騙了。

更為震驚的是,在這場神秘的會議中,這名員工其實是唯一的一名真人,其餘所謂的高管,均由犯罪分子根據高管們在公開平台的視頻信息通過技術生成,是一個個虛擬數字人,卻做到了真假難辨的地步。

這件事發生在一年前。一年時間,對AI行業而言,意味著技術的飛躍已是指數級攀升。

由此引發的犯罪頻率也越來越高。

2025年1月,銀川某建材公司經理張先生接到「領導」視訊電話,要求緊急轉帳。因AI換臉技術高度逼真,他分兩次轉出20萬元。《法制日報》日前報導,天津李先生被AI合成的「領導」視頻誘導轉帳95萬元,警方與銀行聯動凍結83萬元。山西某犯罪分子甚至利用AI換臉通過人臉識別註冊虛假公司,虛開增值稅發票42餘萬元。

一面是不斷高發的詐騙案例,一面是消費者淺薄的防範意識。

「有沒有高手會AI換臉呀?」

鳳凰網科技在檢索各大平台信息中發現,仍有不少人對換臉技術缺乏風險意識。某社交平台上「AI換臉服務」帖子下,回復清一色:「視頻,照片,隨便換」。某二手平台上,用戶僅需提供5秒視頻和清晰五官照片,支付9.9元即可獲得定製化換臉視頻,2.9元的低價安裝包也讓粗糙的換臉工具觸手可及,而DeepFaceLab等專業開源軟體搭配全網傳播的教程,更使得技術濫用呈現全民化趨勢。這種技術平權背後,暴露出法律監管與犯罪手段之間的嚴重失衡。

法律規制與技術進步之間的時差正在製造監管真空。以杭州網際網路法院2023年審理的虞某案為例,犯罪嫌疑人利用AI換臉技術製作淫穢視頻非法牟利,被告賠償6萬元並公開道歉。

鳳凰網科技在諮詢相關領域律師後發現,儘管現行法律與管理規定已明確禁止利用資訊技術偽造肖像,且動態影像也已經受保護。但在責任邊界的某些方面以及賠償計算標準上缺乏量化細則。且目前由於立法還不完全,所受的懲罰與牟利並不成正比,這就讓犯罪之人有了更大動機。

同時,技術濫用已衍生出專業化犯罪鏈條,詐騙組織通過社交平台精準盜取目標對象的生物特徵數據,利用雲端合成技術生成克隆影音,實施「數字分身」詐騙。

當然,AI換臉也並非真的無懈可擊。

現有技術仍存在可識別的生理破綻,例如微表情缺失,光影不匹配,皮膚過度平滑,聲音缺乏停頓,語速快等問題,這些技術局限為公眾提供了關鍵辨識窗口。

平台該不該承擔更大的責任?

AI技術的普及讓內容生產的門檻被極大地降低了,但也讓網絡世界開始充斥著濃濃的AI味兒。尤其是一些AI產品愈演愈烈的幻覺率,讓虛假信息隨之滋生,用戶稍不留意便會陷入真假難辨的困境。

目前,此類問題在短視頻平台尤為突出,大量違背常識與道德底線的AI生成內容正在污染網際網路,如「甄嬛吃漢堡」「寵物貓狗說人話」「AI雷軍」等,通過算法推薦迅速擴散,擠占優質內容的生存空間。

更令人擔憂的是,部分用戶對AI「一本正經地胡說八道」盲目信任。如缺乏甄別能力的老年人群體,正在被各類「賽博乖孫」控制。有網友說自己的奶奶最近經常對著手機屏幕「哎」,仔細一看才發現視頻中是手拿元寶,一口一個奶奶的AI生成乖孫。

但這一切,真的沒有遏制的手段嗎?

此前《人工智慧生成合成內容標識辦法(徵求意見稿)》曾對此提出明確規範。

如在生成環節,要在相關內容的特定位置,添加直觀可見的顯式標識,讓用戶一眼便能察覺內容的AI生成屬性。在傳播環節,平台的責任更加重大,要有能甄別並提示AI內容的能力。抖音在2023年曾發布《關於人工智慧生成內容的平台規範》,要求創作者主動標註AI生成內容,違規者將面臨處罰。

另一內容平台的相關營運也對鳳凰網科技表示,對於AI生成內容,內部一直持謹慎態度對待。「從生態治理的角度,AI內容的風險肯定是大的,但從用戶活躍的角度來說,在極大的降低生產門檻後,會讓一批新的帳號長出來」,也因此,平台對AI類內容一直持搖擺態度。

但對於突發事件中的AI謠言,平台更需要主動承擔起識別並扼殺的任務。

如近期微博上流傳「某男星連續七日豪賭輸光10.3億元流動資產並抵押資產」的消息,3月10日晚,微博CEO王高飛(帳號「來去之間」)就專門做出回應,稱「AI分析完判斷該傳聞缺乏實質性證據,且主要信息源為匿名帳號及營銷號,存在動機和邏輯漏洞……」。隨後在3月11日,周杰倫經紀公司杰威爾音樂官方微博也發布聲明正式闢謠。

AI換臉技術引發的社會震盪正在重塑人類與技術共處的邊界。當生物特徵數據成為可被9.9元交易的商品時,其背後暗藏的系統性風險已超出個體防範範疇。多方觀點都認為,其規範之路任重而道遠。

數字文明的真正考驗,在於能否在代碼世界重建人文價值的錨點。不是簡單地安裝一個技術補丁,而是需要將技術向善的原則轉化為法律條款、算法規則和公民意識。唯有如此,才能在日漸強大的數字世界裡,守住人們的底線。

責任編輯: 李華  來源:鳳凰網科技 轉載請註明作者、出處並保持完整。

本文網址:https://tw.aboluowang.com/2025/0315/2190027.html