2024大模型安全研究報告-將引領(lǐng)安全工作模式的變革

當前，由 ChatGPT 引發(fā)的全球大模型技術(shù)競賽正推動人工智能由專用弱智能向通用強智能邁進， 這不僅標志著智能水平的顯著提升，也預示著人機交互方式和應用研發(fā)模式的重大變革。大模型在 各行各業(yè)的廣泛應用，為第四次工業(yè)革命的爆發(fā)提供了蓬勃動力和創(chuàng)新潛力。

然而，隨著大模型商業(yè)化應用和產(chǎn)業(yè)化落地加速，大模型技術(shù)局限和惡意使用不僅加劇了原有人工 智能安全風險，也引入了模型“幻覺”、指令注入攻擊、網(wǎng)絡(luò)攻擊平民化等新型風險。面對這些挑 戰(zhàn)，國際組織和世界主要國家正通過制定治理原則、完善法律法規(guī)、研制技術(shù)標準等方式，積極開 展大模型安全治理。同時，大模型在邏輯推理、任務編排等方面的卓越能力，為解決網(wǎng)絡(luò)空間安全 瓶頸問題帶來了新的機遇。

隨著各類大模型與經(jīng)濟社會的深度融合，其技術(shù)局限和潛在惡意使用不僅威脅大模型系統(tǒng)自身的安全穩(wěn)定運行， 也可能為使用大模型的各行各業(yè)帶來非預期安全影響。

為盡可能全面應對大模型領(lǐng)域的基礎(chǔ)共性安全挑戰(zhàn)，本報告優(yōu)先對語言、多模態(tài)等各類基礎(chǔ)大模型系統(tǒng)的安全 風險進行系統(tǒng)梳理。與此同時，參考 ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標準，將基礎(chǔ)大 模型系統(tǒng)抽象為訓練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務應用四個重要組成部分，并通過描繪這四個組成部分面 臨的重要和一般安全風險，形成大模型安全風險地圖，如圖 1 所示。其中，重要風險是發(fā)生概率高和影響程度 大的風險，一般風險則反之。

短期來看，大模型將顯著提升現(xiàn)有安全技術(shù)的性能和智能化水平。得益于大模型在數(shù)據(jù)理解、意圖識別、任務 編排等方面的能力，在安全問答、安全運營、數(shù)據(jù)分類分級、違規(guī)處理個人信息檢測、音視圖文內(nèi)容安全檢測 等關(guān)鍵網(wǎng)絡(luò)安全場景中，大模型能夠在大幅減少人工參與的同時，有效提升安全事件處理的效率和準確性。

長期來看，大模型有潛力成為安全防護的核心，從而改變安全的工作模式。當前，大模型主要扮演安全從業(yè)人 員的輔助工具，用于提高他們的工作效率和效能。未來，隨著大模型在自主研判和決策能力方面的提升，它們 預期將進化為安全從業(yè)人員的合作伙伴，共同應對安全風險的識別、防御、檢測、響應和恢復等一系列復雜工作。 此外，大模型在數(shù)據(jù)安全、內(nèi)容安全等領(lǐng)域也將發(fā)揮關(guān)鍵作用。大模型預計將引領(lǐng)安全工作模式的變革，從依賴安全人員調(diào)度和使用安全工具，轉(zhuǎn)變?yōu)橐源竽Ｐ蜑楹诵恼{(diào)度并智能化使用安全工具。

附件：2024大模型安全研究報告-將引領(lǐng)安全工作模式的變革