為什么說(shuō)同事合伙排擠你，是領(lǐng)導(dǎo)在背后搞的鬼？
7月28日，世界人工智能大會(huì)（WAIC）期間，在由中國(guó)信息通信研究院舉辦的“大模型智塑全球產(chǎn)業(yè)新秩序論壇”上，螞蟻集團(tuán)大模型安全解決方案“蟻天鑒”宣布升級(jí)，新增智能體（AIAgent）安全評(píng)測(cè)工具，具備Agent對(duì)齊、mcp安全掃描、智能體安全掃描及零信任防御等四大核心功能。
隨著人工智能（AI）技術(shù)的不斷進(jìn)步，AI領(lǐng)域正從大模型時(shí)代邁向智能體時(shí)代。智能體不僅具備對(duì)話生成能力，還擁有自主規(guī)劃、跨領(lǐng)域推理，甚至能做出超越人類理解的決策，AI已進(jìn)入“行動(dòng)”階段。然而，智能體的越權(quán)、過(guò)度代理等問(wèn)題也帶來(lái)了安全挑戰(zhàn)。
數(shù)據(jù)顯示，超過(guò)70%的智能體從業(yè)者擔(dān)憂AI幻覺(jué)與錯(cuò)誤決策、數(shù)據(jù)泄露等問(wèn)題，因?yàn)锳I生成的內(nèi)容往往包含事實(shí)錯(cuò)誤，或者對(duì)指令產(chǎn)生誤解，其中超半數(shù)受訪者表示，所在企業(yè)尚未設(shè)立明確的智能體安全負(fù)責(zé)人。
世界數(shù)字科學(xué)院（WDTA）最新發(fā)布《AI智能體運(yùn)行安全測(cè)試標(biāo)準(zhǔn)》提出將輸入輸出、大模型、RAG、記憶和工具五個(gè)關(guān)鍵鏈路與運(yùn)行環(huán)境對(duì)應(yīng)起來(lái)，分析智能體全鏈路風(fēng)險(xiǎn)。
“蟻天鑒”為螞蟻集團(tuán)聯(lián)合清華大學(xué)共同研發(fā)推出的大模型安全一體化解決方案，確保大模型技術(shù)在安全可靠的環(huán)境中發(fā)揮效能，打造AI大模型的安全鎧甲。“蟻天鑒”新增的智能體安全評(píng)測(cè)功能，正與WDTA標(biāo)準(zhǔn)框架契合。
大模型安全解決方案“蟻天鑒”新增智能體安全評(píng)測(cè)工具
據(jù)介紹，升級(jí)的“蟻天鑒”在Agent運(yùn)行階段，構(gòu)建了一套智能安全掃描系統(tǒng)，通過(guò)一系列專用工具來(lái)檢測(cè)Agent可能面臨的安全風(fēng)險(xiǎn)，實(shí)現(xiàn)端到端掃描，確保工具與Agent的交互鏈路不被篡改或繞過(guò)，為復(fù)雜環(huán)境下的穩(wěn)定運(yùn)行提供可驗(yàn)證的安全基線。目前，“蟻天鑒”的風(fēng)險(xiǎn)研判Agent準(zhǔn)確率可以達(dá)到96%以上，并可支持11個(gè)行業(yè)的智能體測(cè)試。
MCP安全掃描功能，則為行業(yè)內(nèi)首個(gè)對(duì)外發(fā)布的MCP安全掃描工具，可自動(dòng)化識(shí)別AI工具集成與數(shù)據(jù)交換鏈路中的安全漏洞及風(fēng)險(xiǎn)行為，覆蓋工具投毒攻擊、間接提示詞注入、惡意代碼注入等3大類共10項(xiàng)子類風(fēng)險(xiǎn)。
此外，其Agent對(duì)齊功能，集成了高效工具調(diào)用、敏感雙重驗(yàn)證、多通道惡意識(shí)別及沙盒環(huán)境訓(xùn)練，確保智能體的決策、行為與開(kāi)發(fā)者預(yù)設(shè)目標(biāo)、價(jià)值觀及倫理道德保持一致；通過(guò)深度理解智能體服務(wù)上下文與風(fēng)險(xiǎn)情境，“蟻天鑒”還可對(duì)每一次調(diào)用進(jìn)行內(nèi)容、鏈路、行為、權(quán)限、組件、來(lái)源、身份七層校驗(yàn)，并依據(jù)策略引擎動(dòng)態(tài)決策放行、降級(jí)或阻斷，實(shí)現(xiàn)“永不信任，始終驗(yàn)證”的零信任動(dòng)態(tài)防御。
螞蟻集團(tuán)機(jī)器智能部總經(jīng)理、安全實(shí)驗(yàn)室首席科學(xué)家王維強(qiáng)在WAIC論壇演講
螞蟻集團(tuán)機(jī)器智能部總經(jīng)理、安全實(shí)驗(yàn)室首席科學(xué)家王維強(qiáng)表示：“升級(jí)的‘蟻天鑒’基于‘以攻促防’的安全理念，通過(guò)構(gòu)建‘對(duì)齊-掃描-防御’技術(shù)棧，形成全流程防護(hù)體系，從而為智能體提供風(fēng)險(xiǎn)掃描與實(shí)時(shí)防御能力，我們也將與行業(yè)共建，未來(lái)逐步開(kāi)源開(kāi)放安全工具?！?/p>
據(jù)了解，2024世界人工智能大會(huì)上，“蟻天鑒”2.0發(fā)布，形成了包括大模型基礎(chǔ)設(shè)施測(cè)評(píng)、大模型X光測(cè)評(píng)、應(yīng)用安全測(cè)評(píng)、AIGC濫用檢測(cè)、證件偽造檢測(cè)、圍欄防御等在內(nèi)的完整技術(shù)鏈條，面向行業(yè)提供全方位智能化的大模型安全測(cè)評(píng)和防御解決方案。
