在今年的上海世界人工智能大會(huì)(WAIC)上,終端智能體加速落地應(yīng)用引發(fā)行業(yè)關(guān)注。然而,廣泛的連接性和復(fù)雜架構(gòu)為終端智能體安全帶來(lái)新的挑戰(zhàn)與問(wèn)題。加快終端智能體安全研究并構(gòu)建全方位防護(hù)體系,成為保障大模型產(chǎn)業(yè)與智能體應(yīng)用健康發(fā)展的迫切需求。
7月28日,由上海人工智能實(shí)驗(yàn)室、中國(guó)信通院、螞蟻集團(tuán)、IIFAA互聯(lián)網(wǎng)可信認(rèn)證聯(lián)盟四家單位聯(lián)合撰寫的《終端智能體安全(2025)》報(bào)告在WAIC的“大模型智塑全球產(chǎn)業(yè)新秩序論壇”上發(fā)布,呼吁加強(qiáng)終端智能體安全研究,構(gòu)建全方位、多層次的安全防護(hù)體系。
報(bào)告指出,智能體正在向更多終端延伸。智能體在各類應(yīng)用中展現(xiàn)出更強(qiáng)的泛化與適應(yīng)能力,從功能方面來(lái)看,呈現(xiàn)出從單一任務(wù)逐步拓展至編程輔助、社會(huì)互動(dòng)、經(jīng)濟(jì)治理等復(fù)雜場(chǎng)景;并由集中式、依賴云端算力的大模型階段,向更靈活高效的輕量化階段演進(jìn),本地終端部署正成為主流趨勢(shì),尤其在ToC(面向消費(fèi)者)端,用戶對(duì)隱私保護(hù)、響應(yīng)速度與個(gè)性化體驗(yàn)的關(guān)注不斷增強(qiáng)。
輕量型終端智能體可在手機(jī)、穿戴設(shè)備等日常終端直接運(yùn)行,具備自主推理、快速交互能力,增強(qiáng)了貼近性與個(gè)性化服務(wù)。目前,谷歌助手、Siri、Alexa、Cortana等產(chǎn)品已廣泛應(yīng)用,ChatGPT、Copilot等新一代大語(yǔ)言模型智能體也正向端側(cè)遷移與輕量化適配。
報(bào)告認(rèn)為,當(dāng)輕量型終端智能體由原本功能簡(jiǎn)單的智能模塊演化為具備感知、決策與執(zhí)行能力的本地“自主實(shí)體”,其安全邊界已突破傳統(tǒng)信息安全范疇,延伸至數(shù)字與物理世界的邊緣交互接口,在資源受限、場(chǎng)景多樣的環(huán)境中,其安全邊界正被重新定義。
在處理復(fù)雜任務(wù)方面,智能體正在由單一智能體向多智能體發(fā)展。這些場(chǎng)景所涉及的任務(wù)往往具有數(shù)據(jù)海量異構(gòu)、環(huán)境動(dòng)態(tài)多變、決策維度多元等特點(diǎn),遠(yuǎn)超單一智能體獨(dú)立運(yùn)作的能力范疇。
北京中數(shù)睿智科技有限公司董事長(zhǎng)韓涵對(duì)第一財(cái)經(jīng)記者表示,今年是智能體邁向終端的“元年”,多智能體可信互連成為行業(yè)發(fā)展趨勢(shì)。她解釋稱,所謂的“多智能體”是指通過(guò)多個(gè)智能體的協(xié)同交互來(lái)完成復(fù)雜任務(wù);多智能體本質(zhì)上是構(gòu)建多個(gè)智能體間高效通信、深度協(xié)作與動(dòng)態(tài)交互的系統(tǒng)性生態(tài)架構(gòu)。
這一架構(gòu)中,各個(gè)智能體既保持自身獨(dú)特的功能屬性,又通過(guò)標(biāo)準(zhǔn)化的通信、協(xié)作機(jī)制緊密連接,形成有機(jī)協(xié)同的整體。通過(guò)實(shí)時(shí)信息共享,智能體得以打破信息孤島,獲取更全面的任務(wù)信息;借助科學(xué)的任務(wù)分配機(jī)制,系統(tǒng)能夠根據(jù)各智能體的能力特長(zhǎng),實(shí)現(xiàn)資源的最優(yōu)配置;在共同目標(biāo)的驅(qū)動(dòng)下,智能體間相互配合、協(xié)同決策,完成單個(gè)智能體無(wú)法獨(dú)立承擔(dān)的復(fù)雜任務(wù)。
復(fù)雜任務(wù)場(chǎng)景對(duì)智能體系統(tǒng)提出了更高維度的要求。在多智能體的發(fā)展過(guò)程中,也面臨數(shù)據(jù)泄露、越權(quán)操作、隱私侵犯、算法偏見等諸多維度的安全威脅。
針對(duì)這些挑戰(zhàn),報(bào)告提出,終端智能體應(yīng)用場(chǎng)景加速泛在化、復(fù)雜化的背景下,單一主體的安全能力構(gòu)建已難以應(yīng)對(duì)跨域協(xié)同、攻防升級(jí)的系統(tǒng)性安全挑戰(zhàn),亟待構(gòu)建“數(shù)據(jù)共享、能力協(xié)同、標(biāo)準(zhǔn)互認(rèn)”的安全生態(tài)共建體系,通過(guò)多方參與、資源整合與技術(shù)協(xié)同為終端智能體安全可持續(xù)發(fā)展筑牢根基,并通過(guò)數(shù)據(jù)、技術(shù)、應(yīng)用的三方聯(lián)動(dòng)構(gòu)建終端智能體的安全共同體。
此外,構(gòu)建高精度、高質(zhì)量的安全評(píng)測(cè)數(shù)據(jù)集對(duì)于終端智能體安全風(fēng)險(xiǎn)探測(cè)也是安全生態(tài)共建的核心驅(qū)動(dòng)力。