新智元報(bào)道
LRST
【新智元導(dǎo)讀】加利福尼亞大學(xué)圣迭戈分校博士生王禹和紐約大學(xué)教授陳溪聯(lián)合推出并開(kāi)源了MIRIX,全球首個(gè)真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。MIRIX團(tuán)隊(duì)同步上線了一款桌面端APP,可直接下載使用!
還記得第一次用GPT寫郵件的驚喜嗎?卻也一定遇到過(guò)今天的AI「忘性」——聊得再深入,窗口一關(guān),歷史煙消云散。
因此,研究人員認(rèn)為:從「對(duì)話」到「記憶」,將是AI進(jìn)化的必經(jīng)之路。
大模型1.0時(shí)代是「即問(wèn)即答」,算力與參數(shù)狂飆,卻只能做幾分鐘的「短暫陪伴」。
大模型2.0進(jìn)入「RAG補(bǔ)丁」,把資料「現(xiàn)查現(xiàn)貼」,救急卻臃腫。
大模型3.0則是「MIRIX登場(chǎng)」,第一次把「多模態(tài)長(zhǎng)期記憶」寫進(jìn)AI的底層操作系統(tǒng)。
研究人員推出并開(kāi)源MIRIX,全球首個(gè)真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。
論文鏈接:https://arxiv.org/abs/2507.07957
官方網(wǎng)站:https://mirix.io/
開(kāi)源倉(cāng)庫(kù):https://github.com/Mirix-AI/MIRIX
在ScreenshotVQA這一需要深度多模態(tài)理解的挑戰(zhàn)性基準(zhǔn)上,MIRIX的準(zhǔn)確率比傳統(tǒng)RAG方法高出35%,存儲(chǔ)開(kāi)銷降低99.9%,與長(zhǎng)文本方法相比超出410%,開(kāi)銷降低93.3%。
在LOCOMO長(zhǎng)對(duì)話任務(wù)中,MIRIX以85.4%的成績(jī)顯著超越所有現(xiàn)有方法,樹(shù)立了新的性能標(biāo)桿。
與此同時(shí),研究人員在Mac端上線了一款應(yīng)用產(chǎn)品,通過(guò)這款開(kāi)箱即用的應(yīng)用程序,終于可以為每個(gè)人構(gòu)建專屬于自己的AI個(gè)人助理。
桌面端APP使用場(chǎng)景
直接訪問(wèn)官方網(wǎng)站,即可直接下載APP:
教程鏈接:https://docs.mirix.io/getting-started/installation/#quick-installation-dmg
安裝完成并設(shè)置好GeminiAPIKey,一切就緒后,它便會(huì)悄悄啟動(dòng),開(kāi)始記錄你的電子生活點(diǎn)滴,編織出一份只屬于你的數(shù)字記憶。
所有記憶都可以直觀地可視化:
你也可以直接和智能Agent對(duì)話,它不僅能回答你關(guān)于記憶和過(guò)往活動(dòng)的任何問(wèn)題,還能在需要用到你歷史信息的場(chǎng)景下提供幫助。
以下是一些互動(dòng)示例,感受一下它如何變成你的專屬數(shù)字助理:
幫我寫一個(gè)Meta的工作申請(qǐng)
告訴我我今天做了什么
一套全新的思路
大家通常會(huì)將記憶分成Long-TermMemory(長(zhǎng)期記憶)和Short-TermMemory(短期記憶),但這其實(shí)是一個(gè)誤區(qū),這是人類記憶的方式。
但是,對(duì)于大模型,只區(qū)分長(zhǎng)短期是不夠的,研究人員首次提出將memory分成如下六個(gè)模塊:
核心記憶(CoreMemory):存儲(chǔ)關(guān)鍵且持久的信息,如用戶姓名、喜好、助手人格特征等。分為human和persona兩大塊,當(dāng)容量超過(guò)90%時(shí)會(huì)自動(dòng)重寫以保持精煉。
情景記憶(EpisodicMemory):記錄按時(shí)間戳排序的事件,如用戶的一次操作或?qū)υ?。每條條目包含事件類型、摘要、詳情、主體與時(shí)間,方便檢索近期行為。
語(yǔ)義記憶(SemanticMemory):存儲(chǔ)抽象概念和事實(shí),如「HarryPotter的作者是J.K.Rowling」或「John是用戶的朋友」。每條信息載有名稱、摘要、詳情與來(lái)源,便于建立用戶知識(shí)圖譜。
程序記憶(ProceduralMemory):專注于任務(wù)流程和操作指南,例如「如何部署應(yīng)用」、「設(shè)置Zoom會(huì)議」等。條目由流程類型、描述與步驟組成,支持結(jié)構(gòu)化調(diào)用。
資源記憶(ResourceMemory):保存用戶當(dāng)前正在處理的文檔、截圖、語(yǔ)音等資源。使用條目包括標(biāo)題、摘要、資源類型及全文或摘要內(nèi)容,以便任務(wù)連續(xù)性回溯查詢。
知識(shí)金庫(kù)(KnowledgeVault):用于儲(chǔ)存敏感信息,如APIKey、密碼、聯(lián)系方式等。帶有敏感等級(jí)(低/中/高),并設(shè)置訪問(wèn)控制和加密機(jī)制,確保安全不被隨意調(diào)用。
多智能體工作流(Multi-AgentWorkflow)
由于記憶系統(tǒng)相對(duì)復(fù)雜,我們需要一個(gè)多智能體系統(tǒng)來(lái)控制這樣的記憶系統(tǒng)。
MIRIX中設(shè)置了一位MetaMemoryManager(元記憶管理者)與六位子MemoryManager(記憶子模塊),如下配合:
更新流程(MemoryUpdateWorkflow)
1.輸入觸發(fā):屏幕截圖或?qū)υ捿斎脒M(jìn)入系統(tǒng),首先觸發(fā)全局記憶搜索。
2.路由分析:MetaManager判斷哪些memorycomponent相關(guān),決定路由方向。
3.并行更新:對(duì)應(yīng)的MemoryManager接手更新條目,去除冗余。
4.匯報(bào)完成:所有更新完畢后,MetaManager通知系統(tǒng),進(jìn)入下一輪
檢索與對(duì)話流程(Retrieval&ChatWorkflow)
1.主動(dòng)檢索(ActiveRetrieval):用戶問(wèn)問(wèn)題時(shí),ChatAgent先用LLM自動(dòng)生成一個(gè)「topic」。
2.多memory檢索:依topic從六個(gè)memorycomponent中檢索topk信息。
3.拼接響應(yīng):檢索內(nèi)容按來(lái)源打標(biāo)簽(如...),輸入系統(tǒng)prompt。
4.自然回答:結(jié)合檢索信息給出對(duì)話答復(fù)。
5.若有新信息:系統(tǒng)會(huì)將用戶新輸入路由至相關(guān)記憶模塊進(jìn)行補(bǔ)充
性能飛躍:遠(yuǎn)超RAG基準(zhǔn)及其他記憶系統(tǒng)
研究人員從三個(gè)學(xué)生的電腦上獲得了累計(jì)超過(guò)4萬(wàn)5千張高分辨率屏幕截圖,并基于這些屏幕截圖構(gòu)建了一系列的問(wèn)題,從而得到ScreenshotVQADataset。
數(shù)據(jù)集規(guī)模:每個(gè)序列包含近2萬(wàn)張高分辨率截圖,情景復(fù)雜、多模態(tài)混合,無(wú)其他系統(tǒng)可用。
對(duì)比模型
Gemini:LongContext方法。
SigLIP@50:檢索增強(qiáng)生成系統(tǒng),我們提取最相關(guān)的50張圖片并輸入給大模型回答問(wèn)題。
MIRIX:提出的方法。
性能結(jié)果
相比于RAG,MIRIX提升性能35%,存儲(chǔ)降低99.9%;
相比于LongContext方法,MIRIX存儲(chǔ)降低93%,性能提升410%。
數(shù)據(jù)集場(chǎng)景
單模態(tài)文本對(duì)話,包含600個(gè)對(duì)話、平均2.6萬(wàn)token長(zhǎng),強(qiáng)調(diào)模型跨上下文的長(zhǎng)期記憶能力。
對(duì)比模型:包括LangMem、Zep、Mem0、RAG-500等多個(gè)記憶增強(qiáng)與檢索系統(tǒng)。
MIRIX表現(xiàn):整體準(zhǔn)確率達(dá)85.4%,創(chuàng)下新的SOTA記錄,遠(yuǎn)超其他基線。
結(jié)語(yǔ)
MIRIX標(biāo)志著大模型進(jìn)入了一個(gè)全新的發(fā)展周期——從「即時(shí)對(duì)話生成」躍升至「長(zhǎng)期記憶驅(qū)動(dòng)的智能心智」。
更重要的是,MIRIX不只是一個(gè)科研成果,團(tuán)隊(duì)同步推出了桌面?zhèn)€人助理應(yīng)用,支持即時(shí)采集多模態(tài)數(shù)據(jù),并以可視化樹(shù)狀結(jié)構(gòu)管理記憶。所有memory均存儲(chǔ)于本地SQLite,全面守護(hù)用戶隱私。
現(xiàn)在就可以下載安裝,體驗(yàn)MIRIX為你構(gòu)建全新的記憶系統(tǒng),做一個(gè)可以記住你的AI個(gè)人助理。
參考資料:
https://arxiv.org/abs/2507.07957
推薦5本高人氣玄幻修真小說(shuō)!一腳踏蒼天,一拳碎萬(wàn)界,戮盡神魔
最強(qiáng)散仙重生地球,治病賣丹藥,裝逼打臉,成就九天真仙修真文
修仙逆襲文:最強(qiáng)散仙重生地球,能動(dòng)手就別瞎比比,從此逆天崛起