尉瓊怡

7月28日，世界人工智能大會（WAIC）期間，在由中國信息通信研究院舉辦的“大模型智塑全球產(chǎn)業(yè)新秩序論壇”上，螞蟻集團(tuán)大模型安全解決方案“蟻天鑒”宣布升級，新增智能體（AIAgent）安全評測工具，具備Agent對齊、mcp安全掃描、智能體安全掃描及零信任防御等四大核心功能。

隨著人工智能（AI）技術(shù)的不斷進(jìn)步，AI領(lǐng)域正從大模型時代邁向智能體時代。智能體不僅具備對話生成能力，還擁有自主規(guī)劃、跨領(lǐng)域推理，甚至能做出超越人類理解的決策，AI已進(jìn)入“行動”階段。然而，智能體的越權(quán)、過度代理等問題也帶來了安全挑戰(zhàn)。

數(shù)據(jù)顯示，超過70%的智能體從業(yè)者擔(dān)憂AI幻覺與錯誤決策、數(shù)據(jù)泄露等問題，因為AI生成的內(nèi)容往往包含事實錯誤，或者對指令產(chǎn)生誤解，其中超半數(shù)受訪者表示，所在企業(yè)尚未設(shè)立明確的智能體安全負(fù)責(zé)人。

世界數(shù)字科學(xué)院（WDTA）最新發(fā)布《AI智能體運(yùn)行安全測試標(biāo)準(zhǔn)》提出將輸入輸出、大模型、RAG、記憶和工具五個關(guān)鍵鏈路與運(yùn)行環(huán)境對應(yīng)起來，分析智能體全鏈路風(fēng)險。

“蟻天鑒”為螞蟻集團(tuán)聯(lián)合清華大學(xué)共同研發(fā)推出的大模型安全一體化解決方案，確保大模型技術(shù)在安全可靠的環(huán)境中發(fā)揮效能，打造AI大模型的安全鎧甲?！跋佁扈b”新增的智能體安全評測功能，正與WDTA標(biāo)準(zhǔn)框架契合。

大模型安全解決方案“蟻天鑒”新增智能體安全評測工具

據(jù)介紹，升級的“蟻天鑒”在Agent運(yùn)行階段，構(gòu)建了一套智能安全掃描系統(tǒng)，通過一系列專用工具來檢測Agent可能面臨的安全風(fēng)險，實現(xiàn)端到端掃描，確保工具與Agent的交互鏈路不被篡改或繞過，為復(fù)雜環(huán)境下的穩(wěn)定運(yùn)行提供可驗證的安全基線。目前，“蟻天鑒”的風(fēng)險研判Agent準(zhǔn)確率可以達(dá)到96%以上，并可支持11個行業(yè)的智能體測試。

MCP安全掃描功能，則為行業(yè)內(nèi)首個對外發(fā)布的MCP安全掃描工具，可自動化識別AI工具集成與數(shù)據(jù)交換鏈路中的安全漏洞及風(fēng)險行為，覆蓋工具投毒攻擊、間接提示詞注入、惡意代碼注入等3大類共10項子類風(fēng)險。

此外，其Agent對齊功能，集成了高效工具調(diào)用、敏感雙重驗證、多通道惡意識別及沙盒環(huán)境訓(xùn)練，確保智能體的決策、行為與開發(fā)者預(yù)設(shè)目標(biāo)、價值觀及倫理道德保持一致；通過深度理解智能體服務(wù)上下文與風(fēng)險情境，“蟻天鑒”還可對每一次調(diào)用進(jìn)行內(nèi)容、鏈路、行為、權(quán)限、組件、來源、身份七層校驗，并依據(jù)策略引擎動態(tài)決策放行、降級或阻斷，實現(xiàn)“永不信任，始終驗證”的零信任動態(tài)防御。

螞蟻集團(tuán)機(jī)器智能部總經(jīng)理、安全實驗室首席科學(xué)家王維強(qiáng)在WAIC論壇演講

螞蟻集團(tuán)機(jī)器智能部總經(jīng)理、安全實驗室首席科學(xué)家王維強(qiáng)表示：“升級的‘蟻天鑒’基于‘以攻促防’的安全理念，通過構(gòu)建‘對齊-掃描-防御’技術(shù)棧，形成全流程防護(hù)體系，從而為智能體提供風(fēng)險掃描與實時防御能力，我們也將與行業(yè)共建，未來逐步開源開放安全工具。”

據(jù)了解，2024世界人工智能大會上，“蟻天鑒”2.0發(fā)布，形成了包括大模型基礎(chǔ)設(shè)施測評、大模型X光測評、應(yīng)用安全測評、AIGC濫用檢測、證件偽造檢測、圍欄防御等在內(nèi)的完整技術(shù)鏈條，面向行業(yè)提供全方位智能化的大模型安全測評和防御解決方案。

王者榮耀冬冠杯重開事件,官方辟謠,QGhappy表示不背鍋

網(wǎng)友說QG對戰(zhàn)JC的逆風(fēng)重開事件 感覺KPL太過于兒戲,你怎么看??？囧...

不想當(dāng)?shù)诙€QG,月光發(fā)文解釋AG重開原因,直言對不起大家!?？游戲...