9 月 17 日消息，隨著 AI 應(yīng)用場(chǎng)景的不斷擴(kuò)展，新的漏洞和攻擊手法將不斷涌現(xiàn)，AI 大模型安全治理工作任重道遠(yuǎn)，亟需各方共同努力。

　　昨日，國內(nèi)首次針對(duì) AI 大模型的實(shí)網(wǎng)眾測(cè)檢驗(yàn)結(jié)果在第 22 屆中國網(wǎng)絡(luò)安全年會(huì)(暨國家網(wǎng)絡(luò)安全宣傳周網(wǎng)絡(luò)安全協(xié)同防御分論壇)重磅揭曉。

　　注：本次活動(dòng)由中央網(wǎng)信辦網(wǎng)絡(luò)安全協(xié)調(diào)局指導(dǎo)，國家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心主辦，網(wǎng)絡(luò)安全眾測(cè)平臺(tái)、國家網(wǎng)絡(luò)安全人才與創(chuàng)新基地提供技術(shù)和環(huán)境支持。

　　據(jù)官方介紹，此次活動(dòng)共動(dòng)員 559 名白帽子，涵蓋網(wǎng)安企業(yè)專業(yè)人才、科研院校師生以及社會(huì)白帽子。他們從外部攻擊者的視角，對(duì)大模型進(jìn)行了多維度實(shí)戰(zhàn)化測(cè)試，取得了豐富的測(cè)試成果。

　　測(cè)試產(chǎn)品中既有基礎(chǔ)大模型產(chǎn)品，也有垂域大模型產(chǎn)品，還有智能體、模型開發(fā)平臺(tái)等相關(guān)應(yīng)用產(chǎn)品，其中既包含單模態(tài)大模型，也涵蓋多模態(tài)大模型，具有較廣泛的代表性。

　　據(jù)介紹，本次活動(dòng)對(duì)國內(nèi) 15 款大模型及應(yīng)用產(chǎn)品進(jìn)行了漏洞測(cè)試;累計(jì)發(fā)現(xiàn)各類安全漏洞 281 個(gè)，其中大模型特有漏洞 177 個(gè)，占比超過 60%。這一數(shù)據(jù)充分表明，當(dāng)前 AI 大模型產(chǎn)品面臨著大量傳統(tǒng)安全領(lǐng)域之外的新興安全風(fēng)險(xiǎn)。

　　活動(dòng)中發(fā)現(xiàn)的典型漏洞風(fēng)險(xiǎn)包括：一是部分產(chǎn)品存在不當(dāng)輸出類漏洞且危害嚴(yán)重;二是信息泄露類漏洞多發(fā)，存在較大安全隱患;三是提示注入類漏洞普遍，是大模型最常見漏洞風(fēng)險(xiǎn);四是部分大模型產(chǎn)品針對(duì)無限制消耗類攻擊的防護(hù)措施有待加強(qiáng);五是傳統(tǒng)安全漏洞依然普遍存在，危害不容忽視。鑒于 AI 大模型產(chǎn)品普遍用戶量大、使用率高，若上述漏洞被惡意攻擊者利用，將對(duì)國內(nèi) AI 大模型產(chǎn)品生態(tài)造成較嚴(yán)重的影響。

　　在參與測(cè)試的主流大模型產(chǎn)品中，騰訊公司混元大模型、百度公司文心一言、阿里巴巴通義 App、智譜華章公司智譜清言等發(fā)現(xiàn)的漏洞風(fēng)險(xiǎn)較少，體現(xiàn)了較高的安全防護(hù)水平。

　　另外，本次活動(dòng)涌現(xiàn)出梁宏宇、馬寶新、劉銘等一批表現(xiàn)突出的優(yōu)秀白帽子。本次活動(dòng)測(cè)試對(duì)象主要是實(shí)時(shí)在線運(yùn)行的 AI 大模型及應(yīng)用產(chǎn)品，在產(chǎn)品廠商的防護(hù)下，各位白帽子能夠挖掘出高危甚至嚴(yán)重等級(jí)的漏洞，說明他們有著出眾的能力并付出了艱辛的努力。

　　官方還提出了四點(diǎn) AI 大模型安全治理工作要求：

　　一是針對(duì)大模型面臨的各類漏洞風(fēng)險(xiǎn)，需持續(xù)加強(qiáng)安全防護(hù)措施。

　　二是加快制定 AI 漏洞分類分級(jí)標(biāo)準(zhǔn)，并按應(yīng)用場(chǎng)景劃分風(fēng)險(xiǎn)等級(jí)。

　　三是通過眾測(cè)模式廣泛匯聚社會(huì)白帽力量，構(gòu)筑 AI 共治生態(tài)。

　　四是加強(qiáng)內(nèi)生安全治理，將安全融入到 AI 系統(tǒng)全生命周期，從源頭筑牢安全基石。