21世紀(jì)經(jīng)濟(jì)報(bào)道記者肖瀟王俊北京報(bào)道
作為科技圈的香餑餑產(chǎn)品,AI眼鏡被各大科技巨頭視為繼手機(jī)之后的下一代智能終端。
TA如同一個(gè)探照燈,能隨時(shí)捕捉人臉、行為軌跡、環(huán)境影像等信息,在提供便利的同時(shí),安全質(zhì)疑也隨之而來(lái)。
“智能眼鏡產(chǎn)品,隱私泄露的風(fēng)險(xiǎn)尤為突出?!?月28日,在世界人工智能大會(huì)發(fā)布的《終端智能體安全2025》(下稱《白皮書》)指出,這類設(shè)備在數(shù)據(jù)采集、處理、傳輸?shù)拳h(huán)節(jié)均存在被竊聽(tīng)、被篡改的風(fēng)險(xiǎn),尤其是涉及圖像、人臉、地理位置等個(gè)人敏感信息時(shí)。
白皮書進(jìn)一步建議,應(yīng)對(duì)智能眼鏡類產(chǎn)品進(jìn)行“能力安全管控”,包括限制其數(shù)據(jù)調(diào)用范圍、操作權(quán)限,并對(duì)異常行為實(shí)現(xiàn)即時(shí)阻斷。
這份白皮書由上海人工智能實(shí)驗(yàn)室、中國(guó)信通院、螞蟻集團(tuán)、IIFAA聯(lián)盟四方聯(lián)合發(fā)布。首次系統(tǒng)梳理了智能體風(fēng)險(xiǎn)分類、如何發(fā)現(xiàn)風(fēng)險(xiǎn)、如何防御風(fēng)險(xiǎn),并覆蓋了單智能體設(shè)備、多智能體協(xié)同,再到AI終端生態(tài)的全面挑戰(zhàn)。在AIAgent成為“下一代操作系統(tǒng)”的當(dāng)下,這場(chǎng)對(duì)安全設(shè)施的梳理,來(lái)得尤為及時(shí)。
AI智能體開(kāi)始落地到終端,但它和我們熟悉的智能設(shè)備已經(jīng)不是一回事了。
在AI大模型加速下沉的2025年,智能體正快速滲透進(jìn)手機(jī)、眼鏡、耳機(jī)、車機(jī)等各種終端設(shè)備,悄悄成為連接人、設(shè)備與環(huán)境的關(guān)鍵樞紐。生活、工業(yè)、醫(yī)療、教育等多個(gè)行業(yè),正在被一批更“主動(dòng)”、更“擬人化”的終端智能體重新定義交互方式。
它們不再是傳統(tǒng)意義上的智能終端,也不是完全云端運(yùn)行的AIAgent,而是一種運(yùn)行在“端側(cè)”的智能體。
技術(shù)上的變化正在改變產(chǎn)品體驗(yàn)的邊界。例如,MetaQuest4Pro實(shí)現(xiàn)了毫米級(jí)手勢(shì)識(shí)別與3D語(yǔ)義理解,華為VisionGlass2025能通過(guò)眼動(dòng)觸發(fā)導(dǎo)航與內(nèi)容切換。智能手機(jī)上的AI助手也在“去喚醒詞化”,榮耀Magic6Pro的“靈動(dòng)膠囊”已經(jīng)能基于用戶行為自動(dòng)推送登機(jī)牌、健康碼等實(shí)時(shí)服務(wù)。
垂直行業(yè)的人機(jī)交互邏輯也在被改變?,F(xiàn)在的AI座艙已經(jīng)可以通過(guò)駕駛員微表情,分析疲勞程度,調(diào)節(jié)空調(diào)溫度、發(fā)出警報(bào),主動(dòng)介入安全保障。
這種“無(wú)感交互、主動(dòng)觸發(fā)”的終端智能體新形態(tài),確實(shí)讓AI更貼近用戶,但它帶來(lái)的問(wèn)題也更加復(fù)雜。
《白皮書》指出,隨著模型越來(lái)越懂用戶、操作越來(lái)越自動(dòng),終端智能體的風(fēng)險(xiǎn)邊界也在拓展:不再只是“數(shù)據(jù)泄露”這么簡(jiǎn)單,而是向模型行為、身份偽造、環(huán)境感知誤導(dǎo),甚至算法倫理等深層問(wèn)題蔓延。
在AI驅(qū)動(dòng)下,智能化的深度和廣度,也達(dá)到了一個(gè)新的水平。
在智能化深度上,智能化從移動(dòng)APP時(shí)代的簡(jiǎn)單賦能,演進(jìn)到現(xiàn)在的AI原生;
在交互上,從單模態(tài)交互到多模態(tài)交互,甚至帶有空間智能的空間交互;
在場(chǎng)景復(fù)雜性上,從單場(chǎng)景服務(wù),到全場(chǎng)景的任務(wù)編排與規(guī)劃;
在服務(wù)模式上,從用戶被動(dòng)服務(wù),到主動(dòng)服務(wù)用戶;
在連接寬度上,從單一APP完成任務(wù),到跨應(yīng)用、復(fù)雜協(xié)同完成目標(biāo)。
這導(dǎo)致了設(shè)備與物理世界的融合,設(shè)備與設(shè)備的連接,智能體與設(shè)備的連接,以及智能體之間的連接等更為廣泛的連接。
跨設(shè)備多智能體協(xié)同,會(huì)帶來(lái)很多問(wèn)題,比如信任問(wèn)題、身份問(wèn)題、安全問(wèn)題等。
和APP時(shí)代的信任問(wèn)題不同,智能化時(shí)代會(huì)出現(xiàn)鏈路不可信、授權(quán)不可信、服務(wù)不可信等多種信任問(wèn)題;身份問(wèn)題上,智能化時(shí)代各種泛終端設(shè)備的身份、智能體身份、用戶身份,如何實(shí)現(xiàn)關(guān)聯(lián)和身份流通是一大挑戰(zhàn);在安全問(wèn)題上,從傳統(tǒng)的設(shè)備孤島,到全面連接后,導(dǎo)致的諸如數(shù)據(jù)傳輸不安全,風(fēng)險(xiǎn)敞口變大。
安全問(wèn)題是終端智能體發(fā)展旅程中,最復(fù)雜的地形圖之一。
《白皮書》首次提出了覆蓋六大層級(jí)的“終端智能體安全風(fēng)險(xiǎn)圖譜”,將終端智能體風(fēng)險(xiǎn)分析分為設(shè)備層風(fēng)險(xiǎn)、數(shù)據(jù)層風(fēng)險(xiǎn)、模型層風(fēng)險(xiǎn)、端云協(xié)同層風(fēng)險(xiǎn)、接口層風(fēng)險(xiǎn)和業(yè)務(wù)層風(fēng)險(xiǎn)等風(fēng)險(xiǎn)層,將風(fēng)險(xiǎn)從硬件到底層算法、再到交互接口和業(yè)務(wù)邏輯層面,系統(tǒng)性拆解。
更進(jìn)一步,《白皮書》將這些風(fēng)險(xiǎn)細(xì)化至“用戶身份”“應(yīng)用身份”“惡意prompt工程”“權(quán)限濫用”“行為誘導(dǎo)”“生成內(nèi)容失控”等具體攻擊路徑。
以模型層為例,提示詞誘導(dǎo)(PromptInjection)攻擊正在成為終端智能體的主要隱患之一:攻擊者通過(guò)精心構(gòu)造的輸入,誘導(dǎo)模型暴露內(nèi)部邏輯、泄露記憶信息,甚至輸出不當(dāng)或違法內(nèi)容。
這些風(fēng)險(xiǎn)不是理論推演,而是真實(shí)發(fā)生的案例在倒逼行業(yè)關(guān)注。比如智能眼鏡,容易被用于無(wú)感知偷拍、數(shù)據(jù)中轉(zhuǎn)攻擊等非法用途。因此需要解決其在本地圖像識(shí)別、語(yǔ)音識(shí)別和空間交互中的數(shù)據(jù)權(quán)限與身份認(rèn)證問(wèn)題。
而像智能座艙助手,在車載環(huán)境中,座艙需要實(shí)時(shí)識(shí)別駕駛員的情緒狀態(tài),并聯(lián)動(dòng)車內(nèi)空調(diào)、燈光、導(dǎo)航系統(tǒng)等多個(gè)控制模塊。一旦模型出現(xiàn)幻覺(jué)輸出、誤判疲勞狀態(tài),就可能帶來(lái)真實(shí)空間的安全風(fēng)險(xiǎn)。白皮書因此建議,在此類場(chǎng)景中強(qiáng)化模型魯棒性、引入形式化驗(yàn)證機(jī)制、并設(shè)置動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估系統(tǒng)。
為了應(yīng)對(duì)這些高度復(fù)雜、層層遞進(jìn)的安全風(fēng)險(xiǎn),《白皮書》提出了三大防護(hù)路徑:?jiǎn)沃悄荏w安全、多智能體可信互連、AI終端安全,作為一份全面且具針對(duì)性的、可參考的安全指引。
其中,智能體安全技術(shù)涉及安全護(hù)欄、數(shù)據(jù)去毒、基座對(duì)齊和柔性管理;多智能體可信互連技術(shù)涉及可信數(shù)據(jù)流轉(zhuǎn)、可信服務(wù)流轉(zhuǎn)、可信身份認(rèn)證和可信記憶共享;AI終端安全技術(shù)涉及可信隱私沙箱、跨設(shè)備可信連接。
白皮書提出,智能體可信互連的核心,在于構(gòu)建“可信”的智能體協(xié)作環(huán)境,具體體現(xiàn)在四個(gè)關(guān)鍵維度:可信連接、可信鑒權(quán)、可信意圖、可信授權(quán)。它就像智能體世界的“安全衛(wèi)士”,從身份驗(yàn)證到數(shù)據(jù)傳輸,從需求處理到結(jié)果追溯,全程筑牢安全防線。
本次《白皮書》由信通院、上海人工智能實(shí)驗(yàn)室、螞蟻集團(tuán)和IIFAA聯(lián)盟四方聯(lián)合發(fā)布。
螞蟻集團(tuán)作為積極在智能體安全實(shí)踐的企業(yè)之一,在如RokidGlasses、小米AI眼鏡等AI終端產(chǎn)品中,基于首個(gè)智能眼鏡的可信交互服務(wù)技術(shù),確保用戶在眼鏡端完成的支付交易具備“可信身份”“可信執(zhí)行環(huán)境”等多重安全保障;近期升級(jí)的“蟻天鑒”大模型安全解決方案,新增智能體安全評(píng)測(cè)功能,具備Agent對(duì)齊、MCP安全掃描、智能體安全掃描及零信任防御等四大核心功能,在智能體時(shí)代全面應(yīng)對(duì)挑戰(zhàn)。
為構(gòu)建開(kāi)放、安全、高效的智能體互聯(lián),建立統(tǒng)一協(xié)議標(biāo)準(zhǔn),螞蟻集團(tuán)也深度參與到中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)起的“人工智能智能體協(xié)議共建共享聯(lián)合倡議”,與產(chǎn)學(xué)研用各界伙伴共同推進(jìn)國(guó)產(chǎn)智能體協(xié)議標(biāo)準(zhǔn)的制定與落地。
另一家核心聯(lián)合方IIFAA聯(lián)盟,一直致力于推動(dòng)行業(yè)共同制定跨智能體交互的相關(guān)安全技術(shù)規(guī)范,共建開(kāi)放、合作、共贏的智能體生態(tài)。
2024年12月,該聯(lián)盟牽頭成立國(guó)內(nèi)首個(gè)智能體安全生態(tài)協(xié)作組織——“IIFAA智能體可信互連工作組”(下稱“工作組”),專注推動(dòng)跨智能體協(xié)作過(guò)程中的信任機(jī)制建設(shè),解決多設(shè)備、多賬號(hào)、多模型之間的數(shù)據(jù)調(diào)用、身份驗(yàn)證和權(quán)限邊界問(wèn)題。
今年4月,工作組推出業(yè)內(nèi)首個(gè)智能體可信互連技術(shù)ASL(AgentSecurityLink)發(fā)布,該技術(shù)可以在MCP等協(xié)議的基礎(chǔ)之上,保障各個(gè)智能體協(xié)作中在權(quán)限、數(shù)據(jù)、隱私等方面的安全,為Agent互連提供安全、可信的協(xié)作保障。
ASL構(gòu)建了智能體之間的可信連接、構(gòu)建運(yùn)行時(shí)安全保護(hù)機(jī)制、構(gòu)建業(yè)務(wù)安全防護(hù)機(jī)制等三方面核心能力,在智能體互連的時(shí)代,運(yùn)行于MCP、A2A等任何智能體通信協(xié)議之上,作為已有互連協(xié)議的安全補(bǔ)充,解決智能體時(shí)代的安全威脅,為Agent互連提供安全、可信的協(xié)作保障。
聯(lián)盟技術(shù)負(fù)責(zé)人萬(wàn)小飛表示,在智能終端快速發(fā)展的今天,單獨(dú)一家企業(yè)很難承擔(dān)構(gòu)建智能終端可信體系的任務(wù),智能終端的可信體系,需要生態(tài)共建共贏?!昂粲跽麄€(gè)生態(tài),共同完善智能體可信基礎(chǔ)設(shè)施,共建智能體可信互連生態(tài),最終共筑智能體協(xié)作信任網(wǎng)絡(luò)。”
白皮書在結(jié)尾寫道:如果說(shuō)過(guò)去幾年,智能體技術(shù)解決的是“能不能用”的問(wèn)題,那么當(dāng)下要面對(duì)的,則是“可不可信”的挑戰(zhàn)。
在這個(gè)意義上,終端智能體的每一次系統(tǒng)更新,不只是能力增強(qiáng),更是一次對(duì)人機(jī)信任機(jī)制的重塑。
延伸閱讀:與 專家建議不要讓孩子淪為唱歌:機(jī)71%器 的相關(guān)文章