360發(fā)布全球首份《大模型安全漏洞報(bào)告》，曝光近40個(gè)大模型相關(guān)安全漏洞

摘要： 全球首份《大模型安全漏洞報(bào)告》：360曝光大模型存在“后門”

近年來(lái)，全球人工智能浪潮持續(xù)升溫，大模型作為AI領(lǐng)域中的重要一環(huán)，其能力隨著平臺(tái)算力的提升、訓(xùn)練數(shù)據(jù)量的積累、深度學(xué)習(xí)算法的突破，得到了進(jìn)一步提升。然而以大模型為核心涌現(xiàn)的大量技術(shù)應(yīng)用背后，也帶來(lái)諸多新的風(fēng)險(xiǎn)和挑戰(zhàn)。
 
近日，360數(shù)字安全集團(tuán)發(fā)布全球首份《大模型安全漏洞報(bào)告》（以下簡(jiǎn)稱“報(bào)告”），從模型層安全、框架層安全以及應(yīng)用層安全三大維度探查安全問(wèn)題，并借助360安全大模型自動(dòng)化的代碼分析能力，對(duì)多個(gè)開(kāi)源項(xiàng)目進(jìn)行代碼梳理和風(fēng)險(xiǎn)評(píng)估，最終審計(jì)并發(fā)現(xiàn)了近40個(gè)大模型相關(guān)安全漏洞，影響范圍覆蓋llama.cpp、Dify等知名模型服務(wù)框架，以及Intel等國(guó)際廠商開(kāi)發(fā)的多款開(kāi)源產(chǎn)品，全面呈現(xiàn)了全球大模型發(fā)展所面對(duì)的安全威脅態(tài)勢(shì)，為構(gòu)建更加安全、健康的AI數(shù)字環(huán)境貢獻(xiàn)力量。
 

生成及應(yīng)用過(guò)程隱憂
模型層安全或影響訓(xùn)練及推理

 
大模型的生成及應(yīng)用過(guò)程通常包含了數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)清洗、模型訓(xùn)練、模型部署等關(guān)鍵步驟，攻擊者可對(duì)該流程中相關(guān)環(huán)節(jié)施加影響，使模型無(wú)法正常完成推理預(yù)測(cè)；或者繞過(guò)模型安全限制或過(guò)濾器，操控模型執(zhí)行未經(jīng)授權(quán)的行為或生成不當(dāng)內(nèi)容，并最終導(dǎo)致服務(wù)不可用，甚至對(duì)開(kāi)發(fā)者或其他正常用戶產(chǎn)生直接安全損害。
 

 
報(bào)告指出，大模型的開(kāi)放性和可擴(kuò)展性使其在訓(xùn)練和推理過(guò)程中面臨著數(shù)據(jù)投毒、后門植入、對(duì)抗攻擊、數(shù)據(jù)泄露等諸多安全威脅。近年來(lái)，各大知名廠商的大語(yǔ)言模型因隱私泄露和輸出涉及種族、政治立場(chǎng)、公共安全等不合規(guī)信息而引起社會(huì)廣泛關(guān)注的案例屢見(jiàn)不鮮，為了加強(qiáng)模型本身的安全性，越來(lái)越多的研究人員開(kāi)始從模型的可檢測(cè)性、可驗(yàn)證性、可解釋性進(jìn)行積極探索。
 

安全邊界模糊
框架層安全使攻擊面頻繁增加

 
隨著大模型項(xiàng)目需求的不斷增長(zhǎng)，各類開(kāi)源框架層出不窮。這些框架極大提升了開(kāi)發(fā)效率，降低了構(gòu)建AI應(yīng)用的門檻，同時(shí)也打開(kāi)了新的攻擊面。
 
報(bào)告指出，這些框架在各個(gè)層級(jí)都可能因接觸不可信的輸入而產(chǎn)生潛在的安全風(fēng)險(xiǎn)。比如利用非內(nèi)存安全語(yǔ)言引發(fā)內(nèi)存安全問(wèn)題，或者通過(guò)影響正常業(yè)務(wù)流程向框架傳遞惡意數(shù)據(jù)進(jìn)行攻擊，以及利用物理或虛擬主機(jī)集群所暴露的服務(wù)接口進(jìn)行惡意控制等。
 

 
模型框架通常承載著極其豐厚的計(jì)算與存儲(chǔ)資源，但又由于其模糊的安全邊界，通常難以做到完全運(yùn)行于隔離的環(huán)境之中，因此一旦受到攻擊，就可能對(duì)整個(gè)系統(tǒng)帶來(lái)不可估量的損失。
 

模塊協(xié)同存在風(fēng)險(xiǎn)
應(yīng)用層安全可致目標(biāo)系統(tǒng)失控

 
AI應(yīng)用是人工智能技術(shù)通過(guò)自動(dòng)化決策和智能分析來(lái)解決實(shí)際問(wèn)題的進(jìn)一步落地，通常集成了前端采集用戶輸入，后端調(diào)用模型分析處理，最終執(zhí)行用戶請(qǐng)求并返回結(jié)果的業(yè)務(wù)流程。
 
報(bào)告發(fā)現(xiàn)，除了模型本身，AI應(yīng)用是多項(xiàng)計(jì)算機(jī)技術(shù)的有機(jī)結(jié)合，通常還包含了許多其它工程代碼實(shí)踐來(lái)落地整套業(yè)務(wù)邏輯。這些代碼涉及輸入驗(yàn)證、模型驅(qū)動(dòng)、后向處理等多個(gè)方面，而不同分工模塊間的業(yè)務(wù)交互可能會(huì)引入額外的安全問(wèn)題，既包含了傳統(tǒng)的Web問(wèn)題，又涵蓋了大模型能力導(dǎo)致的新問(wèn)題。
 

 
在以往的攻擊中，攻擊者常通過(guò)組合利用業(yè)務(wù)系統(tǒng)中具有不同“能力原語(yǔ)”的漏洞，進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)系統(tǒng)的完整控制。而在AI場(chǎng)景下，為了能使大模型能處理各項(xiàng)業(yè)務(wù)需求，通常會(huì)賦予其包括代碼執(zhí)行在內(nèi)的多項(xiàng)能力，這在帶來(lái)便捷的同時(shí)，也提供了更多攻擊系統(tǒng)的可能性。攻擊者可以嘗試控制并組合AI的“能力原語(yǔ)”，在某些應(yīng)用場(chǎng)景下達(dá)到更為嚴(yán)重的攻擊效果。
 
伴隨人工智能的加速發(fā)展，以大模型為重要支撐的AI生態(tài)擁有巨大的發(fā)展?jié)摿?，在賦予AI更多能力的同時(shí)，也應(yīng)確保整個(gè)系統(tǒng)的可信、可靠、可控。報(bào)告認(rèn)為，大模型所面對(duì)的安全威脅應(yīng)從模型層、框架層、應(yīng)用層三個(gè)層面持續(xù)深入探索：
 
模型層是大模型自身在訓(xùn)練和推理過(guò)程中，以能直接輸入至模型的數(shù)據(jù)為主要攻擊渠道，從而使得大模型背離設(shè)計(jì)初衷，失去其真實(shí)性和可靠性。

框架層則是用于大模型生產(chǎn)的各類開(kāi)源工具帶來(lái)的安全威脅，這類框架在掌握有大量數(shù)據(jù)、算力、存儲(chǔ)資源的同時(shí)，卻缺少基本的安全設(shè)計(jì)，其安全性很大程度依賴于框架使用者自身經(jīng)驗(yàn)。

應(yīng)用層則是集成大模型技術(shù)的應(yīng)用程序，在受傳統(tǒng)安全問(wèn)題影響的同時(shí)，又可能在模型能力驅(qū)動(dòng)層面上出現(xiàn)新的攻擊場(chǎng)景。
 
作為國(guó)內(nèi)唯一兼具數(shù)字安全和人工智能能力的公司，360數(shù)字安全集團(tuán)基于“以模制模”、“用AI對(duì)抗AI”的理念，遵循“安全、向善、可信、可控”原則，打造安全大模型，保障大模型全方位服務(wù)的安全運(yùn)行，防止不法分子利用相關(guān)漏洞對(duì)系統(tǒng)進(jìn)行攻擊，從而保護(hù)用戶隱私和服務(wù)穩(wěn)定性，持續(xù)助力政府、企業(yè)以及科研機(jī)構(gòu)能夠高效應(yīng)對(duì)在大模型訓(xùn)練和應(yīng)用過(guò)程中的多重挑戰(zhàn)，推動(dòng)國(guó)內(nèi)大模型生態(tài)持續(xù)健康發(fā)展。