法治
濫用AI換臉技術(shù)亂象調(diào)查
2025/02/08 10:24 來(lái)源：法治日?qǐng)?bào) 閱讀：1.3萬(wàn)
知名醫(yī)生張文宏帶貨蛋白棒？不久前,，某視頻博主發(fā)布的視頻中,，張文宏醫(yī)生強(qiáng)烈推銷(xiāo)一款蛋白棒,，讓不少網(wǎng)友信以為真,，一時(shí)銷(xiāo)量近1200件,。
張文宏隨后作出回應(yīng)稱(chēng),，視頻是AI合成的，“我在發(fā)現(xiàn)這事后立即投訴過(guò)那個(gè)AI合成的視頻,，但是它的賬號(hào)一直在換,，自己最后也沒(méi)精力了。這些假的AI合成信息就像蝗災(zāi)一樣,，一次又一次發(fā)生,，像漫天飛過(guò)來(lái)的蝗蟲(chóng)一樣害人”。
目前,，該涉事視頻已從發(fā)布賬號(hào)中移除,，且該賬號(hào)已被平臺(tái)永久封禁。
AI換臉技術(shù)的應(yīng)用邊界何在,？如何打擊和治理網(wǎng)絡(luò)中濫用AI換臉技術(shù)的不法行為？對(duì)此,，記者進(jìn)行了調(diào)查采訪,。
“爸媽?zhuān)椰F(xiàn)在在醫(yī)院，著急用錢(qián),，麻煩再給我轉(zhuǎn)兩萬(wàn)吧……”視頻中,，女生神態(tài)焦急地傾訴著最近遇到的難事，向父母要錢(qián),，語(yǔ)氣懇切,，看上去幾乎毫無(wú)破綻。
隨后,，該視頻發(fā)布者發(fā)布了原視頻,，視頻中，女生只是在和掌鏡的朋友正常交流對(duì)話,，所說(shuō)的內(nèi)容和神態(tài)與上一條視頻中的完全不一樣,。
原來(lái)，女生向父母要錢(qián)的視頻是利用AI合成技術(shù)生成的視頻,。
隨著AI技術(shù)發(fā)展,，AI換臉圖片和視頻成為熱門(mén)現(xiàn)象，娛樂(lè)之余,，讓人真假莫辨,，風(fēng)險(xiǎn)與困擾也不少,。
《法治日?qǐng)?bào)》記者近日調(diào)查發(fā)現(xiàn)，互聯(lián)網(wǎng)上,，不僅有人隨意兜售AI合成軟件,，“手把手教學(xué)”，使得制作生成AI“克隆人”視頻的技術(shù)成了一門(mén)生意,。還有人利用知名人士視頻和聲音AI合成新的視頻,，發(fā)在短視頻平臺(tái)上用來(lái)賣(mài)貨。更有甚者,，濫用AI換臉技術(shù)走上了違法犯罪的道路,。
AI合成技術(shù)亟待加強(qiáng)監(jiān)管。多位受訪專(zhuān)家建議,，完善立法,，明確定義深度合成技術(shù)的應(yīng)用范圍和法律邊界，細(xì)化平臺(tái),、技術(shù)提供商,、內(nèi)容制作者及用戶(hù)的法律責(zé)任。同時(shí),，構(gòu)建多元主體協(xié)同治理的體系架構(gòu),，全方位、全環(huán)節(jié)整治和打擊涉AI犯罪活動(dòng)和網(wǎng)絡(luò)黑灰產(chǎn)業(yè)鏈,。
“克隆人”成了生意
影音清晰真假難辨
在上述利用AI合成技術(shù)生成的視頻介紹中,，作者打出了“AI克隆人”“AI數(shù)字人”等標(biāo)簽。據(jù)作者介紹,，只需提供一段有清晰人臉和聲音的視頻,，就可以在短時(shí)間內(nèi)生成一個(gè)和原視頻相似的新視頻，說(shuō)話的內(nèi)容可以自行編輯文本,。
生成的視頻中人物形態(tài)之自然,，語(yǔ)言之流暢，讓評(píng)論區(qū)一些網(wǎng)友直呼“恐怖”“真假難辨”,。
記者查看視頻評(píng)論區(qū)發(fā)現(xiàn),，該視頻作者打起了“暗號(hào)”——在一些感慨技術(shù)逼真的網(wǎng)友評(píng)論下方留言“+薇4聊……教學(xué)，懂得來(lái)”(漢字與數(shù)字交替出現(xiàn),，用來(lái)代替聊天賬號(hào),，暗示添加好友私聊)。
記者按照提示,，添加其好友詢(xún)問(wèn)相關(guān)視頻及制作方法,。昵稱(chēng)“AI小米××”立刻回復(fù)道：“想自用還是直接代理賺錢(qián)？”
據(jù)其介紹,，如果是自用,，可以充值199元成為“AI幻影××”(某AI“克隆人”生成平臺(tái))的2年會(huì)員,，可以立即生成AI合成視頻共計(jì)38分鐘，不限使用次數(shù),。而交納499元?jiǎng)t可以成為代理,，號(hào)稱(chēng)“享受60%的首次分傭，躺賺20%的復(fù)購(gòu)充值分傭,，享受80%的招代理分傭”,。
幾天后，當(dāng)記者再次試圖打開(kāi)上述視頻時(shí),，顯示“視頻因違規(guī)無(wú)法播放”,，違規(guī)原因“疑似為高風(fēng)險(xiǎn)的項(xiàng)目/引流行為”。
“視頻里在海邊游玩的不是我,，而是我的數(shù)字人分身,。你跟著我操作，就能定制自己的數(shù)字人,，輕松實(shí)現(xiàn)視頻流量起號(hào)……”在社交平臺(tái),、短視頻平臺(tái)上，類(lèi)似以AI數(shù)字人,、“克隆人”視頻引流的帖子有很多,。
記者就制作AI數(shù)字人的流程咨詢(xún)一博主。該博主在之前發(fā)帖中明確表明“不收費(fèi)”“不用花錢(qián)”,，但提出要加入群聊成為會(huì)員,，他會(huì)在群內(nèi)發(fā)布相關(guān)操作指南和課程。
此外,，在多個(gè)網(wǎng)購(gòu)平臺(tái),、二手交易平臺(tái),，AI“克隆人”商品也可以隨意買(mǎi)到,。記者在某網(wǎng)購(gòu)平臺(tái)檢索“AI換臉”，顯示搜索結(jié)果不存在,，但更換關(guān)鍵詞為“AI換人臉視頻軟件”后,，立刻出現(xiàn)多款此類(lèi)商品，價(jià)格從幾元到上百元不等,。
記者點(diǎn)進(jìn)一款名為“AI數(shù)字人生成軟件短視頻制作對(duì)口型形象聲音克隆定制AI分身”的商品,，咨詢(xún)店主后對(duì)方回復(fù)稱(chēng)：“使用軟件時(shí)，您可以上傳30秒以上的自己形象視頻,，然后輸入文字,，我們××數(shù)字人系統(tǒng)就可以給您生成對(duì)應(yīng)口型和克隆您聲音的視頻了，2分鐘左右就可以生成好,。您下單后客服會(huì)一對(duì)一服務(wù)到您學(xué)會(huì)使用為止,?！?/span>
隨即，對(duì)方發(fā)來(lái)一個(gè)標(biāo)價(jià)為98元的下單鏈接,，稱(chēng)這是購(gòu)買(mǎi)該軟件的月卡,，可以制作約30秒以?xún)?nèi)的視頻32個(gè)，“短視頻養(yǎng)號(hào)一個(gè)月足以快速起號(hào)”,。
瞄準(zhǔn)AI不法“商機(jī)”
利用技術(shù)違法犯罪
除了直接售賣(mài)AI換臉技術(shù)外,，還有人瞄準(zhǔn)了AI“克隆人”的不法“商機(jī)”。
前不久,，天津紅橋警方在一起AI詐騙案中,，成功追回市民被騙的83萬(wàn)元。天津市民李先生此前收到了一條短信,，對(duì)方自稱(chēng)是李先生單位的領(lǐng)導(dǎo),，要求加其社交軟件詳聊。
加上好友后,，對(duì)方便以有急事需要資金周轉(zhuǎn)為由,，要求李先生向其轉(zhuǎn)賬，還保證事后錢(qián)款一定返還,。對(duì)方還主動(dòng)打來(lái)視頻電話,。看到視頻那頭出現(xiàn)的確實(shí)是“領(lǐng)導(dǎo)”,，李先生瞬間放下戒備,，分3筆向?qū)Ψ絽R款95萬(wàn)元。當(dāng)天下午,，李先生與朋友聊天時(shí)提起這件事,，越想越覺(jué)得不對(duì)勁，于是報(bào)警,。
接到報(bào)警后,，天津警方迅速與銀行開(kāi)啟聯(lián)動(dòng)機(jī)制，及時(shí)對(duì)3張銀行卡進(jìn)行緊急止付操作,。銀行成功凍結(jié)了涉案資金83萬(wàn)元,。
據(jù)辦案民警介紹，一些不法分子利用AI技術(shù),，將他人的臉換成熟人或親人的臉,，冒充詐騙對(duì)象的重要關(guān)系人，通過(guò)合成視頻或照片來(lái)“以假亂真”,，擾亂被詐騙對(duì)象的視線進(jìn)而實(shí)施詐騙,。
據(jù)公開(kāi)資料，此前，有人在社交平臺(tái)用AI換臉成富商馬云,，視頻連線獲取網(wǎng)友信任,，目標(biāo)受眾多為對(duì)AI缺乏認(rèn)知的中老年人，之后再以“做扶貧項(xiàng)目”等為由騙取錢(qián)財(cái),。還有人在短視頻平臺(tái)上冒充演員靳東與中老年人接觸,，以需要錢(qián)拍戲?yàn)橛烧T使他人轉(zhuǎn)賬。
濫用AI換臉技術(shù)行不法之實(shí)的事件屢有發(fā)生,。
對(duì)此,，北京航空航天大學(xué)法學(xué)院副教授趙精武分析說(shuō)，利用AI換臉技術(shù)進(jìn)行帶貨等行為,，如果仿冒他人,，除了構(gòu)成民法上對(duì)肖像權(quán)等人格權(quán)的侵害之外，根據(jù)情節(jié)輕重,，還可能構(gòu)成刑法上的虛假宣傳,、網(wǎng)絡(luò)詐騙等犯罪行為。
“而隨意售賣(mài)AI合成軟件的行為,，倘若存在主動(dòng)為犯罪行為人提供相關(guān)軟件服務(wù)等情形,，則可能與犯罪行為人構(gòu)成共同犯罪?！壁w精武說(shuō),。
“如果通過(guò)AI換臉技術(shù)編造險(xiǎn)情、災(zāi)情等,，還有可能構(gòu)成編造,、故意傳播虛假信息罪?！北本┯?上海)律師事務(wù)所數(shù)智化建設(shè)委員會(huì)副主任李?lèi)偱e例說(shuō),，前一陣子的“西藏小男孩被埋圖”，雖然使用的AIGC技術(shù)不是深度合成AI換臉,，但也是使用AI技術(shù),。據(jù)了解，該行為人已被追究行政責(zé)任,。如果其情節(jié)更嚴(yán)重的話,，或構(gòu)成編造,、故意傳播虛假信息罪,。
李?lèi)倧?qiáng)調(diào)，首先必須明確,，技術(shù)本身是中立的,。AI換臉作為深度合成技術(shù)的一種具體應(yīng)用，雖然存在被濫用的風(fēng)險(xiǎn)，但其本身并無(wú)“原罪”,。目前,，一些平臺(tái)上的個(gè)人“售賣(mài)技術(shù)”行為，教他人使用開(kāi)源項(xiàng)目或某些應(yīng)用,，本質(zhì)上是在利用信息差,。然而，如果課程內(nèi)容專(zhuān)門(mén)教授如何突破深度合成應(yīng)用的內(nèi)容審核機(jī)制,，則應(yīng)當(dāng)被否定,。平臺(tái)可以通過(guò)限流、警告,、凍結(jié)賬號(hào)等方式對(duì)這些視頻內(nèi)容進(jìn)行規(guī)制,。
“雖然AI技術(shù)在不斷進(jìn)步，但目前而言,，仔細(xì)看的話還是能識(shí)別AI合成的視頻,。”李?lèi)傉f(shuō),，AI合成視頻往往在面部細(xì)節(jié)上存在較為顯著缺陷：微表情缺失(如眼角細(xì)紋,、嘴角抽動(dòng)難以捕捉)、光影不匹配(輪廓和陰影過(guò)渡不符合光線反射規(guī)律)以及皮膚過(guò)于光滑(缺乏毛孔,、紋理和瑕疵),。在眼神與表情方面，眼球運(yùn)動(dòng)機(jī)械化(轉(zhuǎn)動(dòng)不連貫,、眨眼頻率異常),，面部表情僵硬(轉(zhuǎn)換生硬、笑容缺乏真實(shí)感),。
“在運(yùn)動(dòng)過(guò)程中也會(huì)出現(xiàn)明顯的問(wèn)題,，比如臉部變形等。觀看手部動(dòng)作也是一個(gè)比較快速識(shí)別的技巧,，曾經(jīng)很長(zhǎng)一段時(shí)間,，AI在處理人手的時(shí)候會(huì)出現(xiàn)非常多的問(wèn)題，比如關(guān)節(jié)畸形等,?！崩?lèi)傉f(shuō)。
“據(jù)我觀察,，AI生成的語(yǔ)音通常更加流暢,，語(yǔ)速更快，且較少出現(xiàn)‘額’‘嗯’‘也就是說(shuō)’等語(yǔ)氣詞或停頓,?！崩?lèi)傉f(shuō)，雖然聲音克隆技術(shù)近年來(lái)取得了顯著進(jìn)步，幾乎能夠達(dá)到以假亂真的程度,。但如果仔細(xì)辨別,，仍然可以識(shí)別出AI生成的聲音。畢竟截至目前,，尚無(wú)任何一款A(yù)I能夠通過(guò)圖靈測(cè)試,。
完善立法強(qiáng)化執(zhí)法
企業(yè)備案內(nèi)容標(biāo)識(shí)
AI合成技術(shù)的廣泛應(yīng)用，需要法治的護(hù)航,。
據(jù)趙精武介紹,，我國(guó)目前對(duì)于AI合成技術(shù)已經(jīng)作出了較為充分的規(guī)定，例如《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)暫行管理辦法》等,，明確要求深度合成服務(wù)提供者落實(shí)信息安全主體責(zé)任,，使用者不得濫用深度合成服務(wù)。
李?lèi)偨榻B說(shuō),，我國(guó)于2023年頒布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》,，針對(duì)該技術(shù)的規(guī)范管理邁出了重要一步。在人工智能整體領(lǐng)域,，我國(guó)也持續(xù)推出了一系列相關(guān)規(guī)定,，包括目前正在研討的人工智能法。
“當(dāng)前全球范圍內(nèi)AI技術(shù)競(jìng)賽異常激烈,，我國(guó)在這一領(lǐng)域仍處于‘追逐者’的位置,。因此，我們應(yīng)更深入地思考：究竟需要構(gòu)建怎樣的人工智能法律體系,。這一體系既要能夠適應(yīng)技術(shù)快速發(fā)展的需求,，保障社會(huì)公共利益，促進(jìn)人工智能產(chǎn)業(yè)的健康可持續(xù)發(fā)展,，又要助力我國(guó)在AI競(jìng)賽中提升競(jìng)爭(zhēng)力,，實(shí)現(xiàn)從‘追逐者’向‘引領(lǐng)者’的轉(zhuǎn)變，從而在全球AI發(fā)展格局中占據(jù)更有利的位置,?！崩?lèi)傉f(shuō)。
受訪專(zhuān)家指出,，目前精準(zhǔn)打擊利用AI合成技術(shù)違法犯罪行為還存在一些難點(diǎn),。
李?lèi)傉f(shuō)，技術(shù)難題主要體現(xiàn)在匿名性,，犯罪分子使用匿名身份和虛擬貨幣,；取證困難，需證明視頻真實(shí)性,、來(lái)源及目的,，以及跨境性，一些犯罪工具或行為涉及境外,。法律難題則包括責(zé)任鏈條長(zhǎng),，涉及AI工具提供者、制作者和傳播者,；主觀性認(rèn)定困難,，需證明行為人明知違法，且證據(jù)標(biāo)準(zhǔn)高,。
“濫用AI技術(shù)實(shí)施犯罪行為往往與傳統(tǒng)犯罪行為(如電信詐騙,、傳播網(wǎng)絡(luò)謠言等)相結(jié)合，需要公安機(jī)關(guān)聯(lián)合各大網(wǎng)絡(luò)平臺(tái)采取更為直接,、有效的治理措施,。”趙精武說(shuō),。
為此,，他建議構(gòu)建多元主體協(xié)同治理的體系架構(gòu)：公安機(jī)關(guān)與網(wǎng)信、工信等部門(mén)聯(lián)動(dòng)執(zhí)法,，全方位,、全環(huán)節(jié)整治和打擊涉AI犯罪活動(dòng)和網(wǎng)絡(luò)黑灰產(chǎn)業(yè)鏈；執(zhí)法部門(mén)同步更新監(jiān)管技術(shù),，推動(dòng)人工智能技術(shù)在刑事偵查等領(lǐng)域的應(yīng)用,，進(jìn)而更高效、更精準(zhǔn)地打擊濫用AI犯罪活動(dòng),；網(wǎng)絡(luò)平臺(tái)積極落實(shí)平臺(tái)主體責(zé)任,，積極配合執(zhí)法活動(dòng)，嚴(yán)格落實(shí)網(wǎng)絡(luò)實(shí)名制和黑名單制度,，嚴(yán)防各類(lèi)犯罪行為人通過(guò)更換賬號(hào)登錄方式躲避平臺(tái)監(jiān)管,。
李?lèi)偨ㄗh，立法方面,，需明確定義深度合成技術(shù)的應(yīng)用范圍和法律邊界,，細(xì)化平臺(tái)、技術(shù)提供商,、內(nèi)容制作者及用戶(hù)的法律責(zé)任,。同時(shí)，加大對(duì)利用AI技術(shù)實(shí)施犯罪行為的刑事處罰力度,，并完善針對(duì)AI合成視頻的證據(jù)規(guī)則,，明確其法律效力。
“技術(shù)方面,，推廣AI合成視頻的檢測(cè)工具和溯源技術(shù),，研發(fā)高效,、低成本的檢測(cè)服務(wù)，并向公眾開(kāi)放,。利用水印技術(shù)對(duì)AI生成內(nèi)容進(jìn)行標(biāo)識(shí),，便于追蹤和識(shí)別?！崩?lèi)傉f(shuō),，此外，可以建立AI企業(yè)備案制度,，加強(qiáng)對(duì)企業(yè)資質(zhì),、數(shù)據(jù)安全和算法透明度的監(jiān)管。
李?lèi)偺岢?，進(jìn)一步強(qiáng)化平臺(tái)責(zé)任,，要求平臺(tái)對(duì)用戶(hù)發(fā)布的內(nèi)容進(jìn)行審核，及時(shí)處理違法信息,。制定AI行業(yè)行為準(zhǔn)則和道德規(guī)范,，推動(dòng)行業(yè)自律和技術(shù)應(yīng)用的倫理合規(guī)性。建立跨國(guó)執(zhí)法合作機(jī)制,，共同打擊跨境AI犯罪,，并共享AI犯罪案例和犯罪手法信息，提升全球范圍內(nèi)的防范和治理能力,。
“AI技術(shù)的宣傳教育也很重要,。”李?lèi)傉f(shuō),，對(duì)執(zhí)法人員,、司法人員進(jìn)行AI技術(shù)知識(shí)培訓(xùn)，提升其專(zhuān)業(yè)能力和執(zhí)法效率,。同時(shí),，通過(guò)媒體宣傳提高公眾對(duì)AI犯罪的防范意識(shí)，普及AI技術(shù)的基本知識(shí)和風(fēng)險(xiǎn),。（記者 孫天驕）
社區(qū)文化網(wǎng)
社區(qū)文化概況 | 關(guān)于社區(qū)文化 | 人才招聘 | 聯(lián)系我們 | 法律聲明 | 郵箱 | 網(wǎng)站地圖 | 人員查詢(xún)