12月11日，國(guó)家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》（簡(jiǎn)稱《規(guī)定》），強(qiáng)調(diào)不得利用深度合成服務(wù)從事法律、行政法規(guī)禁止的活動(dòng)，要求深度合成服務(wù)提供者落實(shí)信息安全主體責(zé)任，該《規(guī)定》將于2023年1月10日起施行。

所謂“深度合成技術(shù)”，是指利用以深度學(xué)習(xí)、虛擬現(xiàn)實(shí)為代表的生成合成類算法制作文本、圖像、音頻、視頻、虛擬場(chǎng)景等信息的技術(shù)，包括文本轉(zhuǎn)語(yǔ)音、音樂(lè)生成、人臉生成、人臉替換、圖像增強(qiáng)等技術(shù)。目前該技術(shù)已應(yīng)用于傳媒、影視制作、社交娛樂(lè)、教育以及電子商務(wù)等行業(yè)，如AI合成主播、虛擬偶像、修復(fù)歷史老照片等。

近年來(lái)，伴隨技術(shù)的廣泛落地，以及一二級(jí)市場(chǎng)對(duì)相關(guān)賽道關(guān)注熱度的持續(xù)升溫，深度合成技術(shù)的濫用也隨之產(chǎn)生。在業(yè)界人士看來(lái)，《規(guī)定》的落地利于避免技術(shù)濫用于詐騙等不法行為。

(資料圖片)

深度合成技術(shù)已廣泛落地生活

自2019年11月起，我國(guó)先后出臺(tái)《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等文件，對(duì)生成合成類內(nèi)容提出不同程度的監(jiān)管要求。2022年1月28日，國(guó)家互聯(lián)網(wǎng)信息辦公室公布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定（征求意見(jiàn)稿）》，向社會(huì)公開(kāi)征求意見(jiàn)，對(duì)深度合成內(nèi)容的用途、標(biāo)記、使用范圍以及濫用處罰作出具體規(guī)定。

中國(guó)社科院哲學(xué)所科技哲學(xué)研究室主任段偉文表示，對(duì)深度合成技術(shù)引發(fā)的社會(huì)、法律和倫理問(wèn)題，應(yīng)展開(kāi)有系統(tǒng)性、前瞻性的跨學(xué)科研究，對(duì)其可能出現(xiàn)的高風(fēng)險(xiǎn)應(yīng)用場(chǎng)景進(jìn)行有針對(duì)性的治理與監(jiān)管。

2022年2月，清華大學(xué)人工智能研究院與多家機(jī)構(gòu)聯(lián)合發(fā)布《深度合成十大趨勢(shì)報(bào)告（2022）》（簡(jiǎn)稱《報(bào)告》）?！秷?bào)告》顯示，在國(guó)內(nèi)外主流音視頻網(wǎng)站、社交媒體平臺(tái)上，2021年新發(fā)布的深度合成視頻的數(shù)量較2017年已增長(zhǎng)超過(guò)十倍。此外，深度合成內(nèi)容關(guān)注度也呈指數(shù)級(jí)增長(zhǎng)，通過(guò)對(duì)互動(dòng)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，2021年新發(fā)布的深度合成視頻的點(diǎn)贊數(shù)已超過(guò)3億。

2022年深度合成技術(shù)落地也甚為火熱。截至發(fā)稿，抖音AI繪畫特效已有2568.1萬(wàn)人使用；小紅書上，據(jù)灰豚數(shù)據(jù)，“AI繪畫”關(guān)鍵詞熱度值8.1萬(wàn)，關(guān)聯(lián)筆記互動(dòng)量76.1萬(wàn)；騰訊近日也上線了“QQ小世界AI畫匠”活動(dòng)，用戶上傳照片可一鍵生成專屬異次元形象，但生成結(jié)果參差，有的二次元結(jié)果符合原圖，有的則“謬以千里”。

國(guó)泰君安研報(bào)預(yù)計(jì)未來(lái)5年，AI繪畫在圖像內(nèi)容生成領(lǐng)域的滲透率將達(dá)到10%—30%，隨著AI繪畫將下一代互聯(lián)網(wǎng)作為關(guān)鍵著力點(diǎn)，該市場(chǎng)規(guī)模超600億元。

除了AI繪畫，近期火熱的聊天機(jī)器人ChatGPT，二級(jí)市場(chǎng)熱炒的數(shù)字人、虛擬主播、AIGC、元宇宙等，均屬于深度合成技術(shù)領(lǐng)域。但需注意的是，中國(guó)科學(xué)院院士、清華大學(xué)人工智能研究院創(chuàng)始院長(zhǎng)張鈸在《報(bào)告》開(kāi)篇寫道：“與其他技術(shù)不同，由于人工智能的安全性問(wèn)題主要來(lái)源于算法本身的不安全，它更容易被誤用和濫用。以深度合成技術(shù)為例，不法分子可以利用它給社會(huì)帶來(lái)巨大的威脅。”如偽造音頻、視頻，實(shí)施誣陷、誹謗、詐騙、勒索等違法行為。

《規(guī)定》稱，近年來(lái)，深度合成技術(shù)快速發(fā)展，在服務(wù)用戶需求、改進(jìn)用戶體驗(yàn)的同時(shí)，也被一些不法人員用于制作、復(fù)制、發(fā)布、傳播違法和不良信息，詆毀、貶損他人名譽(yù)、榮譽(yù)，仿冒他人身份實(shí)施詐騙等，影響傳播秩序和社會(huì)秩序，損害人民群眾合法權(quán)益，危害國(guó)家安全和社會(huì)穩(wěn)定。出臺(tái)規(guī)定是防范化解安全風(fēng)險(xiǎn)的需要，也是促進(jìn)深度合成服務(wù)健康發(fā)展、提升監(jiān)管能力水平的需要。段偉文對(duì)記者表示，深度合成技術(shù)落地應(yīng)用中，AI換臉是較為典型的代表，如在短視頻中進(jìn)行虛假視頻的傳播，可能引發(fā)謠言、對(duì)公眾產(chǎn)生不良影響等較為嚴(yán)重的結(jié)果。

避免技術(shù)濫用于不法行為

此次出臺(tái)的《規(guī)定》要求，深度合成服務(wù)提供者建立健全管理制度和技術(shù)保障措施，制定公開(kāi)管理規(guī)則、平臺(tái)公約，對(duì)使用者進(jìn)行真實(shí)身份信息認(rèn)證，加強(qiáng)深度合成內(nèi)容管理，建立健全辟謠機(jī)制和申訴、投訴、舉報(bào)機(jī)制。同時(shí)明確深度合成服務(wù)提供者對(duì)使用其服務(wù)生成或編輯的信息內(nèi)容，應(yīng)當(dāng)添加不影響使用的標(biāo)識(shí)。提供智能對(duì)話、合成人聲、人臉生成、沉浸式擬真場(chǎng)景等生成或者顯著改變信息內(nèi)容功能的服務(wù)的，應(yīng)當(dāng)進(jìn)行顯著標(biāo)識(shí)，避免公眾混淆或者誤認(rèn)。

對(duì)于《規(guī)定》的出臺(tái)，人工智能技術(shù)行業(yè)人士對(duì)記者表示，《規(guī)定》對(duì)AIGC領(lǐng)域有規(guī)范作用，但主要是為了避免技術(shù)濫用于詐騙，平臺(tái)可能會(huì)加上水印技術(shù)后繼續(xù)運(yùn)行，如同行業(yè)實(shí)行的手機(jī)號(hào)實(shí)名制一樣，對(duì)普通人影響不大。

易觀智慧院分析師陳一墨對(duì)記者表示，《規(guī)定》無(wú)疑是保證深度合成技術(shù)可以得到正確應(yīng)用與推廣的保障，但總得來(lái)說(shuō)利用深度合成技術(shù)進(jìn)行違法犯罪活動(dòng)的成本小，執(zhí)法難度大，因此需要各參與方均有相關(guān)法律與風(fēng)險(xiǎn)意識(shí)并做出行動(dòng)。而這必然對(duì)各參與方存在不同程度的影響。影響最大的應(yīng)該是相關(guān)服務(wù)的供應(yīng)商。由于深度合成內(nèi)容涵蓋范圍廣，供應(yīng)商需要加大力度進(jìn)行相關(guān)審核，這會(huì)推高供應(yīng)商的運(yùn)營(yíng)成本，且《規(guī)定》第十七條中所述的顯著標(biāo)識(shí)定義較為模糊，而顯著標(biāo)識(shí)也有可能影響相關(guān)服務(wù)的體驗(yàn)。對(duì)于個(gè)人用戶來(lái)說(shuō)，也需要加強(qiáng)自我審查，增加了應(yīng)用相關(guān)技術(shù)的隱性成本。

上海大邦律師事務(wù)所游云庭律師對(duì)第一財(cái)經(jīng)表示，新規(guī)定主要是對(duì)與深度合成有關(guān)的人工智能進(jìn)行監(jiān)管，涉及的產(chǎn)業(yè)包括人工智能元宇宙，發(fā)布的部門包括電信公安和網(wǎng)信。主要的監(jiān)管目的是為了防止這些新生事物對(duì)現(xiàn)有的社會(huì)秩序產(chǎn)生太大的沖擊。

而《規(guī)定》監(jiān)管的對(duì)象其中之一是深度合成人工智能的使用者。游云庭稱，《規(guī)定》要求其使用這些工具時(shí)不得用于違法的目的，另一個(gè)對(duì)象是深度合成服務(wù)提供者，也就是平臺(tái)的主體責(zé)任，要求其提供服務(wù)時(shí)，對(duì)使用者實(shí)名制登記，對(duì)合成的內(nèi)容進(jìn)行監(jiān)管和審核，并且要建立違法和不良信息特征庫(kù)。同時(shí)對(duì)平臺(tái)要求在訓(xùn)練人工智能時(shí)，如果訓(xùn)練數(shù)據(jù)包含個(gè)人信息時(shí)，應(yīng)遵守《個(gè)人信息保護(hù)》相關(guān)規(guī)定，如果使用生物識(shí)別信息的應(yīng)當(dāng)取得數(shù)據(jù)提供者單獨(dú)同意，對(duì)算法的倫理機(jī)制也進(jìn)行了規(guī)定，重點(diǎn)規(guī)定了對(duì)深度合成服務(wù)生成的內(nèi)容應(yīng)當(dāng)進(jìn)行顯著性的標(biāo)識(shí)，對(duì)服務(wù)者還要求按現(xiàn)有互聯(lián)網(wǎng)管理規(guī)定進(jìn)行備案由主管部門進(jìn)行監(jiān)管。

游云庭認(rèn)為，對(duì)普通人來(lái)說(shuō)，這個(gè)規(guī)定要求用戶需要合法遵守倫理道德的使用人工智能。對(duì)平臺(tái)而言，不僅僅是監(jiān)管的問(wèn)題，還要給人工智能設(shè)置倫理，這個(gè)挑戰(zhàn)其實(shí)很大。

段偉文對(duì)記者表示，《規(guī)定》將在短期內(nèi)促進(jìn)相關(guān)企業(yè)加大在安全合規(guī)、倫理等方面的投入，以及相關(guān)經(jīng)驗(yàn)的積累。具體落地過(guò)程中，究竟哪些技術(shù)層面需要進(jìn)行安全評(píng)估、誰(shuí)來(lái)進(jìn)行等問(wèn)題，均需要磨合探索。因此長(zhǎng)遠(yuǎn)來(lái)看，《規(guī)定》對(duì)行業(yè)的影響也需結(jié)合具體過(guò)程來(lái)觀察。

磨合過(guò)程中，段偉文認(rèn)為，需有三點(diǎn)需要明確：第一是監(jiān)管部門在不同階段，應(yīng)對(duì)企業(yè)提出相對(duì)明確的要求；其次，企業(yè)作為技術(shù)主體，應(yīng)加強(qiáng)技術(shù)自律，及時(shí)發(fā)現(xiàn)問(wèn)題，并進(jìn)行復(fù)盤，將相關(guān)風(fēng)險(xiǎn)降到最低；作為用戶或消費(fèi)者環(huán)節(jié)，全社會(huì)應(yīng)該創(chuàng)造條件，加強(qiáng)人工智能與數(shù)字技術(shù)的社會(huì)法律倫理影響方面的教育傳播，促進(jìn)公眾人工智能素養(yǎng)、數(shù)字素養(yǎng)的提升。

至于深度合成技術(shù)落地行業(yè)過(guò)程中如何進(jìn)行精準(zhǔn)鑒別，段偉文稱，需要監(jiān)管部門、企業(yè)與消費(fèi)者三方努力，構(gòu)建協(xié)同共治的機(jī)制。從《規(guī)定（意見(jiàn)稿）》到《規(guī)定》最終落地，過(guò)程中已有很多企業(yè)參與其中，未來(lái)仍需讓消費(fèi)者也參與進(jìn)來(lái)，盡量減少對(duì)企業(yè)創(chuàng)新效率產(chǎn)生負(fù)面影響。