法治
記者調(diào)查AI換臉擬聲技術(shù)使用亂象 “騙子來(lái)電,，聲音容貌和我家人一模一樣”
2024/08/16 11:40 來(lái)源：法治日?qǐng)?bào) 閱讀：1.1萬(wàn)
“媽,，8000元不夠,，給我轉(zhuǎn)1.5萬(wàn)元吧,?！币晃荒赣H正和女兒視頻聊天,，聽(tīng)著在外地上學(xué)的女兒在視頻里撒嬌抱怨“生活費(fèi)不夠用了”,，她心疼不已打算立刻給孩子轉(zhuǎn)賬,。就在這時(shí),，家門打開(kāi)了,，她的“真女兒”走了進(jìn)來(lái)。而另一頭,，視頻里的“假女兒”還在央求媽媽“給生活費(fèi)”,。
這是一則AI反詐視頻。在這條反詐視頻評(píng)論區(qū)中,，不少網(wǎng)友反映自己也有過(guò)類似的被騙經(jīng)歷,，“騙子來(lái)電，聲音容貌和我家人一模一樣”,。
《法治日?qǐng)?bào)》記者近日調(diào)查發(fā)現(xiàn),，AI換臉擬聲技術(shù)已成為簡(jiǎn)單易操作的“低門檻”技術(shù)，只需擁有聲音與照片等“素材”,，借助軟件即可瞬間實(shí)現(xiàn)“AI克隆”,。實(shí)踐中，一些不法分子試圖利用AI換臉擬聲技術(shù)實(shí)施違法犯罪活動(dòng),。
近日,，國(guó)家金融監(jiān)督管理總局金融消費(fèi)者權(quán)益保護(hù)局發(fā)布防范新型電信網(wǎng)絡(luò)詐騙風(fēng)險(xiǎn)提示，將“AI換臉擬聲”納入其中,，作為專門類詐騙,。據(jù)介紹，AI換臉擬聲類金融詐騙,，多為不法分子以“網(wǎng)店客服”“營(yíng)銷推廣”等為借口聯(lián)系消費(fèi)者,，采集發(fā)音、語(yǔ)句或面部信息,，之后利用“換臉”“擬聲”等技術(shù)合成消費(fèi)者虛假音頻,、視頻或圖像，模擬他人聲音或形象騙取信任,，誘導(dǎo)其親友轉(zhuǎn)賬匯款等,。
受訪專家指出，擅自使用他人信息制作換臉擬聲視頻涉及多重法律風(fēng)險(xiǎn),。需要進(jìn)一步完善相關(guān)領(lǐng)域的立法,，加大執(zhí)法力度，秉持包容審慎的態(tài)度平衡技術(shù)的安全與發(fā)展,。
幾乎沒(méi)有使用門檻
輕松實(shí)現(xiàn)換臉擬聲
“只需要一段語(yǔ)音,，幾乎完美還原音色語(yǔ)氣,，今天就教大家如何簡(jiǎn)單、快速?gòu)?fù)制一個(gè)人的聲音,?！痹谀成缃黄脚_(tái)上，一名科技博主發(fā)布了一段教學(xué)視頻,，向網(wǎng)友介紹如何用AI精準(zhǔn)克隆人聲,。
“只需要準(zhǔn)備一段25秒的聲音，構(gòu)建聲音進(jìn)行訓(xùn)練,，訓(xùn)練完畢后就可以輸入想要的文本進(jìn)行語(yǔ)音合成,。”教學(xué)視頻中,，這名博主用時(shí)不到1分鐘,，就把AI擬聲的原理講解得清清楚楚，與此同時(shí),，一段“孫悟空”的擬聲就這樣誕生了,。他輸入了一段文本，AI便能用與“孫悟空”近乎一模一樣的聲音語(yǔ)氣念出來(lái),。
記者按照視頻中的指示打開(kāi)鏈接發(fā)現(xiàn),，這個(gè)AI擬聲工具無(wú)需下載，也不收費(fèi),，是可以免費(fèi)使用的網(wǎng)頁(yè),，而如此制作出來(lái)的音頻可以公開(kāi)供他人使用，也可以導(dǎo)出使用,。記者在網(wǎng)頁(yè)中分別上傳了5種不同聲音,，經(jīng)過(guò)訓(xùn)練，這5種聲音被幾乎無(wú)差別地成功“克隆”,，能夠用來(lái)讀出任意文案,。除此之外，用戶還能在輸入文案時(shí)加入情緒的描述,，使得AI擬聲如同能夠“談笑風(fēng)生”的真人,。
除了AI擬聲，AI換臉也成了“熱門”技術(shù),。在一些圖片處理軟件中,，“一鍵AI換臉”能瞬間將圖片甚至視頻中的臉毫無(wú)痕跡地置換成另一張臉。
“一天能做100個(gè)原創(chuàng)作品,，這個(gè)工具太強(qiáng)了,。”在社交平臺(tái)某AI科技博主的短視頻里,，該博主向粉絲介紹一款視頻換臉軟件,。屏幕中,，博主所展示的兩段視頻中的女生除了五官不同，其余的外貌,、穿著及動(dòng)作完全一致,。視頻中，女孩不論如何轉(zhuǎn)身或做出任何表情,，面部都沒(méi)有產(chǎn)生畸變,。“一鍵就能高清換臉,，讓你們變成另外一個(gè)人,?！?/span>
記者嘗試了該博主所推薦的軟件及操作方法,，成功將一段視頻中的人臉換成了另一張人臉。即使是“技術(shù)小白”,，上手也幾乎毫無(wú)門檻,。記者瀏覽發(fā)現(xiàn)，這樣類似的視頻換臉軟件還有許多,，除了進(jìn)行視頻剪輯換臉之外,，部分軟件在技術(shù)操作之下還能實(shí)現(xiàn)實(shí)時(shí)換臉擬聲。
換臉軟件明碼標(biāo)價(jià)
鮮有賣家詢問(wèn)用途
記者在某社交平臺(tái)檢索“AI換臉”時(shí),，發(fā)現(xiàn)頁(yè)面彈出了“無(wú)痕換臉,，只需5元到20元”的廣告。在評(píng)論區(qū)中,，有不少買家詢問(wèn)能否提供視頻換臉擬聲服務(wù),，也有不少賣家混雜其中尋找“客戶”。記者在評(píng)論區(qū)留言咨詢后,，很快便收到幾名賣家的回復(fù)或私信,。
“需要自定義AI換臉軟件嗎？”一名賣家通過(guò)私信聯(lián)系記者,，推銷其軟件,。記者進(jìn)一步詢問(wèn)賣家該軟件是否能夠?qū)崟r(shí)視頻換臉擬聲，賣家稱“任何社交平臺(tái)都能夠支持實(shí)時(shí)”,。
隨即,，該賣家向記者展示了其在社交平臺(tái)上發(fā)布的換臉演示。在換臉演示中,，一名男子以“英俊的臉龐”出現(xiàn)在視頻頁(yè)面中,，而這張“英俊的臉”則是換臉后的“假面”，該賣家配以文字“網(wǎng)戀神器,，直接變小哥哥,，換個(gè)面貌可以去找小姐姐網(wǎng)戀了”,。
為了讓記者更真切地體會(huì)到換臉技術(shù)的高超，該賣家提出可以“打個(gè)視頻看效果”,。記者打開(kāi)某社交軟件視頻通話,，只見(jiàn)視頻畫(huà)面里是與“換臉演示”中樣貌不同的另一名男子。該賣家稱,，二者都是自己通過(guò)換臉軟件制作的,。在視頻中，他展示了喝水,、捂嘴,、捏臉、捂臉等多個(gè)動(dòng)作,，“做動(dòng)作是沒(méi)問(wèn)題的,，只要打開(kāi)視頻前把這個(gè)軟件打開(kāi)就可以了”?！ ≡诮涣鲿r(shí),，賣家不斷向記者強(qiáng)調(diào)其所售賣的技術(shù)操作難度不大，且在視頻時(shí)“看不出破綻”,。價(jià)格方面,，其介紹299元可以裝好軟件，操作一遍演示,；如果支付599元,，則可以一對(duì)一教學(xué)，“教會(huì)為止,，軟件可以永久不限次數(shù)地使用”,。
調(diào)查中，記者還收到了另一名賣家的“推銷”,，其同樣向記者推薦了自定義AI換臉軟件,。該賣家稱，軟件分為手機(jī)版和電腦版,，手機(jī)版的價(jià)格為40元,，電腦版為69.9元，兩者均可以永久不限次數(shù)使用,。當(dāng)記者問(wèn)及電腦版與手機(jī)版為何存在價(jià)格差異時(shí),，該賣家告訴記者，電腦版的軟件包含一鍵“AI去衣”功能,，即可以把照片上的衣服脫下來(lái),。
在調(diào)查過(guò)程中，記者注意到,，類似提供“自定義AI換臉擬聲軟件”的賣家還有不少,，他們大多在社交平臺(tái)上尋找買家,。對(duì)于買家購(gòu)買技術(shù)的目的，有些賣家毫不在意,，甚至?xí)ⅰ叭ヒ隆钡炔吝吂δ茏鳛橐淮筚u點(diǎn)進(jìn)行推銷,。
除此之外，記者還發(fā)現(xiàn),，在某二手交易平臺(tái)上,，也有賣家出售相關(guān)技術(shù)。比如有賣家在產(chǎn)品描述中這樣寫(xiě)道：“有手就可以,，拍下就發(fā)完整視頻資料和制作方法,，可批量搞，虛擬資源能夠變現(xiàn),?！?/span>
“有些人會(huì)利用技術(shù)去做違法犯罪的事情，尤其是在近幾年,，這種技術(shù)更容易使用了,?！币幻麡I(yè)內(nèi)人士向記者透露,，他就曾接到過(guò)一些“出格”的客戶需求，“有人聯(lián)系希望我們能用AI克隆技術(shù)突破銀行和一些支付軟件的刷臉功能,。還有人打離婚官司,，要我們用擬聲作偽證。如果沒(méi)有問(wèn)清楚,，換臉擬聲很容易淪為一些不法分子詐騙,、犯罪的工具?！?/span>
及時(shí)規(guī)定使用原則
增強(qiáng)個(gè)人反詐意識(shí)
“如果不是做深度訓(xùn)練的話,，目前換臉擬聲的技術(shù)門檻是比較低的?！蹦暇俺?jí)頭腦”工作室（一家AI工作室,，主要經(jīng)營(yíng)“AI數(shù)字生命”業(yè)務(wù)）創(chuàng)始人張澤偉告訴記者，目前非技術(shù)人員也可以通過(guò)軟件進(jìn)行較為簡(jiǎn)單的換臉擬聲,，使得“假人假聲”的合成視頻,、圖片可能被用于違法違規(guī)用途，而一些年紀(jì)稍大的長(zhǎng)輩很難分辨出來(lái),。
北京大成（深圳）律師事務(wù)所律師陳翠說(shuō),，擅自使用他人肖像制作換臉視頻可能侵犯他人肖像權(quán)、隱私權(quán),。根據(jù)民法典第一千零一十九條,，未經(jīng)本人同意,，不得以營(yíng)利為目的使用他人肖像?！皳Q臉視頻即便不以營(yíng)利為目的,，也可能因未獲授權(quán)而侵犯肖像權(quán)。同時(shí),，未經(jīng)許可傳播涉及含有個(gè)人隱私的視頻會(huì)侵犯?jìng)€(gè)人隱私權(quán),。”
陳翠進(jìn)一步補(bǔ)充道,，若換臉擬聲視頻內(nèi)容不當(dāng)或引發(fā)公眾誤解,，可能會(huì)構(gòu)成名譽(yù)權(quán)侵權(quán)。如果視頻中包含他人享有著作權(quán)的內(nèi)容（如影視片段）,，則可能構(gòu)成著作權(quán)侵權(quán),。同時(shí)，未經(jīng)授權(quán)制作和傳播換臉視頻還可能違反網(wǎng)絡(luò)安全法,、數(shù)據(jù)安全法等相關(guān)法律規(guī)定,，面臨行政處罰或刑事責(zé)任。
陳翠認(rèn)為,，目前,，我國(guó)在相關(guān)領(lǐng)域仍缺乏系統(tǒng)性立法，涉及人工智能的法律規(guī)范較為分散,。同時(shí),，人工智能倫理規(guī)范尚未形成統(tǒng)一標(biāo)準(zhǔn)，為有效遏制此類技術(shù)被用于違法犯罪,，需進(jìn)一步明確其應(yīng)用邊界,。
中國(guó)傳媒大學(xué)文化產(chǎn)業(yè)管理學(xué)院法律系主任鄭寧認(rèn)為，我國(guó)《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確,，任何組織和個(gè)人不得利用深度合成服務(wù)制作,、復(fù)制、發(fā)布,、傳播法律,、行政法規(guī)禁止的信息，并要求深度合成服務(wù)提供者應(yīng)當(dāng)建立健全辟謠機(jī)制,，這在一定程度上為深度合成服務(wù)的技術(shù)應(yīng)用劃定了底線,。“要正面劃定AI換臉擬聲能夠用于什么范圍有一定難度,，及時(shí)規(guī)定使用原則,，比如合法、必要條件等。當(dāng)前我國(guó)有《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》,，如果人工智能應(yīng)用符合該規(guī)定應(yīng)用條件,，也可以遵循其要求進(jìn)行安全評(píng)估?！?/span>
“AI產(chǎn)業(yè)是需要規(guī)制的,，但安全與發(fā)展應(yīng)該并重?！编崒幪岬?，對(duì)于新興技術(shù)，要保持審慎監(jiān)管的態(tài)度,，結(jié)合具體的應(yīng)用場(chǎng)景,，在分級(jí)分類的基礎(chǔ)上進(jìn)行預(yù)防式的治理，同時(shí)也要秉持包容的態(tài)度,，促進(jìn)產(chǎn)業(yè)發(fā)展,，鼓勵(lì)創(chuàng)新。
“大家盡量不要在公共平臺(tái)上過(guò)多地上傳個(gè)人聲音,、圖像等信息,，這些可能成為不法分子的合成素材?！痹趶垵蓚タ磥?lái),，信息時(shí)代，每個(gè)人都應(yīng)當(dāng)增強(qiáng)個(gè)人信息保護(hù)意識(shí),、反詐意識(shí),。實(shí)踐中,，可以注意觀察屏幕分辨率的變化,，以此識(shí)別對(duì)方是否利用AI擬像，“也可以與本人約定一些暗號(hào),，必要時(shí)對(duì)一下暗號(hào)再進(jìn)行轉(zhuǎn)賬”,。（記者 趙 麗 實(shí)習(xí)生 林銘溱）