2025年以來(lái)，人工智能（AI）技術(shù)實(shí)現(xiàn)顯著突破――大模型訓(xùn)練成本不斷降低，應(yīng)用方式從生成式AI向智能體化AI快速演進(jìn)。隨著技術(shù)不斷發(fā)展，AI正賦能各行各業(yè)，引領(lǐng)人們進(jìn)入“AI+”時(shí)代。然而，AI的“雙刃劍”效應(yīng)也愈發(fā)明顯：AI濫用風(fēng)險(xiǎn)態(tài)勢(shì)嚴(yán)峻，深度偽造技術(shù)以假亂真，利用AI實(shí)施網(wǎng)絡(luò)攻擊趨勢(shì)抬頭……
人工智能作為引領(lǐng)新一輪科技革命和產(chǎn)業(yè)革命的戰(zhàn)略性技術(shù)，深刻改變?nèi)祟?lèi)生產(chǎn)、生活方式，但在引領(lǐng)生產(chǎn)力革命性躍遷和生產(chǎn)關(guān)系深層次變革的同時(shí)，也給網(wǎng)絡(luò)安全帶來(lái)了新的威脅和挑戰(zhàn)。如何準(zhǔn)確應(yīng)對(duì)“AI+”時(shí)代的網(wǎng)絡(luò)威脅？強(qiáng)化風(fēng)險(xiǎn)感知和預(yù)警能力，“用AI對(duì)抗AI”，成為擺在人類(lèi)面前的新課題。
生成式AI濫用，“李鬼”風(fēng)險(xiǎn)不斷
“這是人工合成的假視頻，講話(huà)聲音是我，但內(nèi)容不是我的?！?0月11日，在江西南昌一場(chǎng)國(guó)際學(xué)術(shù)年會(huì)上，中國(guó)工程院院士、天津中醫(yī)藥大學(xué)名譽(yù)校長(zhǎng)張伯禮在作報(bào)告時(shí)幽默地說(shuō)：“凡是‘捎貨’（帶貨）的肯定不是我！”
會(huì)議上，張伯禮院士提醒大家對(duì)一些短視頻注意鑒別。原來(lái)，今年網(wǎng)絡(luò)平臺(tái)上出現(xiàn)了多個(gè)關(guān)于“張伯禮”帶貨某美白護(hù)膚品的短視頻。實(shí)際上，這些都是經(jīng)由AI制作的。這些合成視頻使用張伯禮院士的形象和聲音，達(dá)到以假亂真的效果。
新的技術(shù)應(yīng)用發(fā)展的同時(shí)，運(yùn)用網(wǎng)絡(luò)、信息技術(shù)侵害肖像權(quán)、名譽(yù)權(quán)等人格權(quán)的情形也經(jīng)常出現(xiàn)。今年6月，最高人民法院發(fā)布的6起濫用信息技術(shù)侵犯人格權(quán)案例中，不乏未經(jīng)許可AI化使用他人聲音、擅用他人肖像供用戶(hù)“換臉”等。
國(guó)家計(jì)算機(jī)病毒應(yīng)急處理中心高級(jí)工程師杜振華告訴記者，2023年以來(lái)，隨著生成式AI的普及和規(guī)?；瘧?yīng)用，其強(qiáng)大的內(nèi)容生產(chǎn)和模仿能力在推動(dòng)創(chuàng)新的同時(shí)，也催生了深度偽造、算法偏見(jiàn)等風(fēng)險(xiǎn)。
公安部網(wǎng)安局今年9月披露的打擊整治網(wǎng)絡(luò)違法犯罪典型案例中，涉及多起利用AI工具編造謠言、網(wǎng)絡(luò)暴力、開(kāi)盒網(wǎng)暴、侵犯公民個(gè)人信息等案件。包括“樺加沙”臺(tái)風(fēng)逼近廣東沿海地區(qū)，社交平臺(tái)上出現(xiàn)多張所謂“深交所門(mén)前牛雕塑被拴”“車(chē)輛被五花大綁”圖片，均被證實(shí)系A(chǔ)I合成；河南發(fā)生區(qū)域性暴雨天氣期間，多個(gè)賬號(hào)發(fā)布的內(nèi)容也實(shí)為用AI技術(shù)拼湊、剪輯生成的虛假視頻。
“金融行業(yè)中，一些機(jī)構(gòu)的身份驗(yàn)證被AI換臉攻破。今年6月，不少高校也要求畢業(yè)論文必須進(jìn)行AI檢測(cè)?！敝袊?guó)科學(xué)院計(jì)算技術(shù)研究所前瞻研究實(shí)驗(yàn)室主任曹娟說(shuō)，大模型普及之后，他們發(fā)現(xiàn)很多行業(yè)都需要鑒偽。
AI化身智能體，自主進(jìn)攻難捉摸
今年年初，“2025年哈爾濱第九屆亞冬會(huì)”遭受境外網(wǎng)絡(luò)攻擊事件引發(fā)廣泛關(guān)注。國(guó)家計(jì)算機(jī)病毒應(yīng)急處理中心等有關(guān)技術(shù)團(tuán)隊(duì)持續(xù)攻堅(jiān)，成功追查到美國(guó)國(guó)家安全局（NSA）的3名特工和兩所美國(guó)高校，參與實(shí)施了針對(duì)亞冬會(huì)的網(wǎng)絡(luò)攻擊活動(dòng)。研究發(fā)現(xiàn)，此次攻擊利用了AI智能體進(jìn)行工具方案規(guī)劃、漏洞探尋和流量監(jiān)測(cè)等工作，部分代碼明顯由AI書(shū)寫(xiě)，可以在攻擊過(guò)程中自動(dòng)、快速編寫(xiě)動(dòng)態(tài)代碼實(shí)施攻擊。
所謂智能體化AI，是指具備自主決策能力的人工智能系統(tǒng)。AI智能體一旦被用于網(wǎng)絡(luò)攻擊，其自主性、隨機(jī)性將大大提升網(wǎng)絡(luò)安防的難度。
“不久前，境外網(wǎng)絡(luò)公司披露一個(gè)已知的AI勒索軟件，該勒索軟件使用OpenAI公司的開(kāi)源大模型生成惡意勒索程序，利用AI技術(shù)可以自主決定搜索或加密哪些文件。”公安部有關(guān)負(fù)責(zé)人在9月底召開(kāi)的第三屆網(wǎng)絡(luò)空間安全（天津）論壇上介紹。
中興通訊股份有限公司副總裁王繼剛表示，智能體是未來(lái)AI應(yīng)用的重要方式。“智能體會(huì)自動(dòng)感知接觸到的環(huán)境，并在運(yùn)行過(guò)程中不受人工干預(yù)，能以目標(biāo)為導(dǎo)向。”他認(rèn)為，智能體攻擊的形式多種多樣，其大規(guī)模應(yīng)用帶來(lái)的總攻擊面會(huì)更大，影響也更復(fù)雜。
目前，網(wǎng)絡(luò)上已出現(xiàn)多款輔助網(wǎng)絡(luò)攻擊的大模型工具，一些網(wǎng)絡(luò)“黑產(chǎn)”工具也正積極接入AI。國(guó)家計(jì)算機(jī)病毒應(yīng)急處理中心聯(lián)合其他權(quán)威機(jī)構(gòu)發(fā)布的《網(wǎng)絡(luò)空間安全態(tài)勢(shì)分析報(bào)告（2025）》指出，相較去年，今年發(fā)生的AI相關(guān)網(wǎng)絡(luò)與數(shù)據(jù)安全事件與風(fēng)險(xiǎn)顯著增加。
不過(guò)，在專(zhuān)家看來(lái)，當(dāng)前AI強(qiáng)大的數(shù)據(jù)處理、模式識(shí)別和自動(dòng)化的能力，也能為網(wǎng)絡(luò)安全提供新的解決方案和防御策略，AI智能體的融入將使網(wǎng)絡(luò)安全防御從被動(dòng)響應(yīng)向主動(dòng)預(yù)測(cè)和自動(dòng)防御轉(zhuǎn)變，AI網(wǎng)絡(luò)攻防對(duì)抗態(tài)勢(shì)或?qū)⑦M(jìn)入“智能體驅(qū)動(dòng)”的新階段。也有觀點(diǎn)認(rèn)為，未來(lái)的網(wǎng)絡(luò)安全之戰(zhàn)可能會(huì)演變?yōu)椤癆I之間的對(duì)抗”。
在安恒信息技術(shù)股份有限公司董事長(zhǎng)范淵看來(lái)，AI智能體能快速生成動(dòng)態(tài)仿真系統(tǒng)，結(jié)合AI的自動(dòng)化編程、數(shù)據(jù)生成等，AI可以實(shí)時(shí)根據(jù)攻擊行為，預(yù)測(cè)攻擊者下一個(gè)相關(guān)的動(dòng)作，從而生成對(duì)應(yīng)的預(yù)防策略。
技術(shù)風(fēng)險(xiǎn)管控，亟待多方協(xié)同
在不少業(yè)內(nèi)人士看來(lái)，現(xiàn)在不應(yīng)再探討AI是不是有危害，而是到了研究怎樣讓AI健康發(fā)展的階段，發(fā)展安全可控的AI，重構(gòu)網(wǎng)絡(luò)安全治理體系是一項(xiàng)系統(tǒng)性工作，需要治理制度、技術(shù)創(chuàng)新、產(chǎn)業(yè)生態(tài)等協(xié)同推進(jìn)。
“AI安全風(fēng)險(xiǎn)源于AI向‘超人’化演進(jìn)。解決AI‘超人’問(wèn)題，關(guān)鍵是管好‘框、數(shù)、人、鏈’四個(gè)環(huán)節(jié)，把AI嵌在安全體系里，把體系落在場(chǎng)景中，重塑適配時(shí)代需求、業(yè)務(wù)場(chǎng)景的內(nèi)生安全體系，增強(qiáng)數(shù)智系統(tǒng)的內(nèi)在免疫力?！逼姘残趴萍技瘓F(tuán)董事長(zhǎng)齊向東說(shuō)。
為此，中國(guó)不斷延伸AI領(lǐng)域治理鏈條。今年9月1日，《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》及配套強(qiáng)制性國(guó)家標(biāo)準(zhǔn)《網(wǎng)絡(luò)安全技術(shù) 人工智能生成合成內(nèi)容標(biāo)識(shí)方法》正式生效，明確要求所有傳播的AI生成內(nèi)容必須添加顯式或隱式標(biāo)識(shí)，AI生成內(nèi)容強(qiáng)制亮明“數(shù)字身份證”。業(yè)內(nèi)認(rèn)為，這意味著中國(guó)在內(nèi)容安全治理上邁出關(guān)鍵一步。
與此同時(shí)，近年來(lái)，中國(guó)公安機(jī)關(guān)作為維護(hù)網(wǎng)絡(luò)安全的重要力量，持續(xù)開(kāi)展多個(gè)專(zhuān)項(xiàng)行動(dòng)，有效應(yīng)對(duì)一系列網(wǎng)絡(luò)安全風(fēng)險(xiǎn)與挑戰(zhàn)。
國(guó)際刑警組織網(wǎng)絡(luò)犯罪局局長(zhǎng)尼爾?杰頓說(shuō)，網(wǎng)絡(luò)犯罪在全球是一個(gè)嚴(yán)重的問(wèn)題，全球網(wǎng)絡(luò)犯罪經(jīng)濟(jì)規(guī)模已超10.5萬(wàn)億美元。在今年針對(duì)惡意軟件的“安全亞洲”活動(dòng)中，國(guó)際刑警組織和中國(guó)緊密合作，關(guān)閉了20000多個(gè)惡意IP，查獲了100GB的數(shù)據(jù)?！俺晒Φ木W(wǎng)絡(luò)安全行動(dòng)根基在于合作。”他說(shuō)，未來(lái)將綜合運(yùn)用AI等新技術(shù)進(jìn)行跨國(guó)打擊行動(dòng)。
“網(wǎng)絡(luò)安全威脅沒(méi)有國(guó)界，任何一個(gè)國(guó)家發(fā)現(xiàn)的漏洞都可能在幾分鐘之內(nèi)波及其他國(guó)家。構(gòu)筑網(wǎng)絡(luò)安全不能各自為政?！蹦崛绽麃唶?guó)家信息技術(shù)發(fā)展局局長(zhǎng)卡希夫?伊努瓦?阿卜杜拉希說(shuō)，“區(qū)域和全球合作是必經(jīng)之路?！?
清華大學(xué)公共管理學(xué)院教授、人工智能?chē)?guó)際治理研究院副院長(zhǎng)梁正建議，在“AI+”時(shí)代，要通過(guò)國(guó)際合作推動(dòng)能力建設(shè)、風(fēng)險(xiǎn)共管和規(guī)則標(biāo)準(zhǔn)互認(rèn)，同時(shí)探索針對(duì)特定議題的小切口治理合作，攜手構(gòu)建包容普惠的全球AI治理體系。
