信條：阿里云AI攻防安全啟示錄
摘要： 本期《安全記》特邀阿里云藍(lán)軍負(fù)責(zé)人石肖雄、業(yè)內(nèi)知名白帽專家張衛(wèi)作為嘉賓，通過藍(lán)軍視角，圍繞“AI安全攻防新態(tài)勢”主題展開，并結(jié)合阿里云在安全攻防的實踐經(jīng)驗和成果，探討
“有人在未來制作逆時間子彈，逆轉(zhuǎn)時間傳遞給我們。”
4月9日AI勢能大會上，阿里云百煉推出業(yè)內(nèi)首個全生命周期MCP服務(wù)。MCP如同“超級插座”，使端側(cè)應(yīng)用能像智能設(shè)備接入電網(wǎng)般，無縫融入AI應(yīng)用架構(gòu)。
當(dāng)這把通往未來AI世界的"萬能鑰匙"問世之際，技術(shù)突破的"速度與激情"遭遇安全防線的"生死時速"，這場沒有硝煙的戰(zhàn)爭正催生出怎樣的攻守格局？
本期《安全記》特邀阿里云藍(lán)軍負(fù)責(zé)人石肖雄、業(yè)內(nèi)知名白帽專家張衛(wèi)作為嘉賓，通過藍(lán)軍視角，圍繞“AI安全攻防新態(tài)勢”主題展開，并結(jié)合阿里云在安全攻防的實踐經(jīng)驗和成果，探討大模型MCP協(xié)議等AI交互新模式對藍(lán)軍攻防技術(shù)帶來的變化。
本文基于訪談嘉賓觀點進(jìn)行提煉，完整版內(nèi)容請點擊下方視頻。
AI安全攻防主要涉及在人工智能領(lǐng)域展開的安全攻擊與防御活動。其核心在于保護(hù)AI系統(tǒng)免受惡意攻擊的影響，同時通過研究特定技術(shù)對AI系統(tǒng)實施攻擊，以此來評估和提升系統(tǒng)的安全性。
AI安全與傳統(tǒng)安全在攻防側(cè)兩大核心差異性：
攻擊目標(biāo)不同
傳統(tǒng)網(wǎng)絡(luò)安全攻防主要集中在網(wǎng)絡(luò)基礎(chǔ)設(shè)施，如服務(wù)器等；而AI安全攻防則更關(guān)注于機(jī)器學(xué)習(xí)模型本身及其生成的數(shù)據(jù)，包括模型參數(shù)等。
攻擊方式多樣
除了傳統(tǒng)的軟件漏洞利用外，AI安全還面臨特定于AI的技術(shù)挑戰(zhàn)，比如對抗樣本攻擊等。
AI安全攻防技術(shù)手段主要涵蓋兩方面：AI技術(shù)賦能網(wǎng)絡(luò)攻防和AI大模型原生安全問題。AI技術(shù)能助力安全人員提質(zhì)增效，而攻擊者同樣可以利用AI能力精準(zhǔn)化、復(fù)雜化攻擊場景。此外，AI系統(tǒng)存在數(shù)據(jù)隱私泄露、模型中毒等風(fēng)險，因此確保AI自身的安全性也至關(guān)重要。
大模型安全攻防需聚焦三個階段：數(shù)據(jù)收集、模型訓(xùn)練與模型使用。
數(shù)據(jù)收集階段
常見的攻擊手法有操控輸入數(shù)據(jù)實施閃避攻擊，致使模型應(yīng)用時判斷失誤。
模型訓(xùn)練階段
誘餌攻擊會使訓(xùn)練數(shù)據(jù)中毒，后門攻擊能令模型在特定條件下觸發(fā)后門效果。
模型使用階段
攻擊者會分析系統(tǒng)輸入輸出等外部信息，推測模型參數(shù)及訓(xùn)練數(shù)據(jù)。
針對這些潛在攻擊威脅，保障大模型安全需采取多類主動防御措施。
若把大模型安全比作汽車安全，目標(biāo)就是確保 “AI車” 行駛時全方位安全，涵蓋外部攻防、內(nèi)部模型及應(yīng)用架構(gòu)安全。
-
外部攻防安全如同給 “AI車” 安檢和保養(yǎng)，出發(fā)前檢查輸入數(shù)據(jù)，行程結(jié)束后檢測輸出結(jié)果。
-
內(nèi)部模型安全則是保障 “AI車” 穩(wěn)定運行，依靠對抗檢測技術(shù)，確保其在各場景下的安全性。
-
AI應(yīng)用架構(gòu)安全猶如為 “AI車” 安裝防盜系統(tǒng)和安全氣囊，建立嚴(yán)格訪問控制、數(shù)據(jù)加密和安全審計流程，防止數(shù)據(jù)泄露和濫用，保障 “乘客” 即用戶的安全。
把AI的能力植入到安全攻防中，可以極大釋放白盒、灰盒和黑盒測試工具的潛能，進(jìn)而提升安全測試效率與準(zhǔn)確性。
傳統(tǒng)白盒測試
傳統(tǒng)黑盒測試
依賴手動生成測試用例，存在重復(fù)工作多、覆蓋面有限的問題，AI則可快速模擬用戶行為，實現(xiàn)重復(fù)流程自動化處理。
對于灰盒測試
傳統(tǒng)方式依賴人工經(jīng)驗和多源數(shù)據(jù)整理分析，AI能夠彌補(bǔ)不足，識別出安全人員難以察覺的潛在風(fēng)險。
在實戰(zhàn)攻防場景，借助AI優(yōu)勢可有效解決傳統(tǒng)方法應(yīng)用過程中的諸多問題。比如：
-
利用AI的自動化事件響應(yīng)能力，可賦能滲透測試平臺自動化分析代碼和測試結(jié)果，自動化處理重復(fù)流程。 -
利用AI的持續(xù)學(xué)習(xí)能力，可賦能網(wǎng)絡(luò)威脅檢測平臺自動化構(gòu)建檢測模型和規(guī)則。 -
利用AI的海量數(shù)據(jù)快速分析能力，可賦能威脅情報監(jiān)測平臺快速分析安全事件并進(jìn)行預(yù)測性分析。 -
人機(jī)協(xié)同的AI模式可助力安全團(tuán)隊更高效地開展工作等。
AI與安全攻防結(jié)合，可通過AI智能體、RAG知識庫、MCP協(xié)議、A2A協(xié)議等多種AI技術(shù)實現(xiàn)。
首先，AI Agent能夠?qū)踩珜＜业慕?jīng)驗和決策過程以工作流的形式進(jìn)行復(fù)制，助力團(tuán)隊成員快速學(xué)習(xí)和掌握不熟悉的安全技術(shù)，從而提高工作效率。
其次，利用RAG知識庫可助力大模型整合特定垂直領(lǐng)域的安全知識，增強(qiáng)大模型的知識圖譜，從而提升決策的有效性。
最后，通過MCP 、A2A等協(xié)議，可增強(qiáng)大模型在多任務(wù)、多場景下的適應(yīng)能力，使安全團(tuán)隊能夠靈活選擇和組合最佳的安全解決方案。
安全攻防領(lǐng)域，實戰(zhàn)演練至關(guān)重要。
AI對網(wǎng)絡(luò)攻擊的賦能主要體現(xiàn)在兩大方向，一是生產(chǎn)力賦能，二是攻防場景賦能。關(guān)于實戰(zhàn)攻防演練中AI技術(shù)的應(yīng)用，阿里云藍(lán)軍實戰(zhàn)探索已久。
攻防RAG知識圖譜
將多年積累的攻防場景下的攻擊姿勢和知識庫沉淀到大知識平臺，助力新入職人員學(xué)習(xí)；
能力工具化
發(fā)布資產(chǎn)測繪、外部掃描等，聚焦解決以往難題，如爬蟲問題，利用AI對代碼的強(qiáng)大識別作用解決攻防審計問題，以及通過簡單提示詞檢測漏洞；
社會工程領(lǐng)域
利用AI構(gòu)建互動場景，并在攻防項目中結(jié)合AI進(jìn)行攻防演練，提升相關(guān)人員安全意識，共同維護(hù)新技術(shù)背景下的安全環(huán)境。
MCP和A2A技術(shù)廣泛應(yīng)用，可預(yù)見未來面向端上的安全風(fēng)險會持續(xù)攀升，在傳統(tǒng)安全基礎(chǔ)上加大向AI安全轉(zhuǎn)型的投入。
石肖雄認(rèn)為，大模型廠商需保障原生安全可靠穩(wěn)定，例如提供MCP和A2A服務(wù)的企業(yè)，應(yīng)作為第一層安全防護(hù)主體，從協(xié)議層、應(yīng)用層等實現(xiàn)安全左移。“左移” 包含兩重意思，即大模型服務(wù)提供方自身的安全左移以及接入服務(wù)的對端安全左移。
同時，隨著大模型的發(fā)展，AI大模型逐漸成為關(guān)鍵基礎(chǔ)設(shè)施，對網(wǎng)絡(luò)安全行業(yè)帶來了一定沖擊。如何有效防范風(fēng)險，推動行業(yè)健康有序發(fā)展成為眾人關(guān)注焦點。
張衛(wèi)提出兩點建議：
-
其一，AI技術(shù)提供廠商必須肩負(fù)起AI安全責(zé)任，在原生安全上做到可靠穩(wěn)定；
-
其二，除了應(yīng)對大模型原生安全問題，還需借助技術(shù)手段反制AI技術(shù)濫用行為。
未來也許還有安全風(fēng)險尚未浮出水面，但阿里云作為云計算和大模型領(lǐng)域的領(lǐng)軍者，會始終致力于保障云與大模型原生安全的穩(wěn)定可靠。同時，阿里云將于今年牽頭舉辦AI攻防挑戰(zhàn)賽，期望借助類似AI攻防賽的交流平臺，激發(fā)AI安全攻防領(lǐng)域的創(chuàng)新活力，匯聚更多新生力量投身安全建設(shè)。