新智元報(bào)道
LRST
【新智元導(dǎo)讀】加利福尼亞大學(xué)圣迭戈分校博士生王禹和紐約大學(xué)教授陳溪聯(lián)合推出并開(kāi)源了MIRIX,全球首個(gè)真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。MIRIX團(tuán)隊(duì)同步上線(xiàn)了一款桌面端APP,可直接下載使用!
還記得第一次用GPT寫(xiě)郵件的驚喜嗎?卻也一定遇到過(guò)今天的AI「忘性」——聊得再深入,窗口一關(guān),歷史煙消云散。
因此,研究人員認(rèn)為:從「對(duì)話(huà)」到「記憶」,將是AI進(jìn)化的必經(jīng)之路。
大模型1.0時(shí)代是「即問(wèn)即答」,算力與參數(shù)狂飆,卻只能做幾分鐘的「短暫陪伴」。
大模型2.0進(jìn)入「RAG補(bǔ)丁」,把資料「現(xiàn)查現(xiàn)貼」,救急卻臃腫。
大模型3.0則是「MIRIX登場(chǎng)」,第一次把「多模態(tài)長(zhǎng)期記憶」寫(xiě)進(jìn)AI的底層操作系統(tǒng)。
研究人員推出并開(kāi)源MIRIX,全球首個(gè)真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。
論文鏈接:https://arxiv.org/abs/2507.07957
官方網(wǎng)站:https://mirix.io/
開(kāi)源倉(cāng)庫(kù):https://github.com/Mirix-AI/MIRIX
在ScreenshotVQA這一需要深度多模態(tài)理解的挑戰(zhàn)性基準(zhǔn)上,MIRIX的準(zhǔn)確率比傳統(tǒng)RAG方法高出35%,存儲(chǔ)開(kāi)銷(xiāo)降低99.9%,與長(zhǎng)文本方法相比超出410%,開(kāi)銷(xiāo)降低93.3%。
在LOCOMO長(zhǎng)對(duì)話(huà)任務(wù)中,MIRIX以85.4%的成績(jī)顯著超越所有現(xiàn)有方法,樹(shù)立了新的性能標(biāo)桿。
與此同時(shí),研究人員在Mac端上線(xiàn)了一款應(yīng)用產(chǎn)品,通過(guò)這款開(kāi)箱即用的應(yīng)用程序,終于可以為每個(gè)人構(gòu)建專(zhuān)屬于自己的AI個(gè)人助理。
桌面端APP使用場(chǎng)景
直接訪問(wèn)官方網(wǎng)站,即可直接下載APP:
教程鏈接:https://docs.mirix.io/getting-started/installation/#quick-installation-dmg
安裝完成并設(shè)置好GeminiAPIKey,一切就緒后,它便會(huì)悄悄啟動(dòng),開(kāi)始記錄你的電子生活點(diǎn)滴,編織出一份只屬于你的數(shù)字記憶。
所有記憶都可以直觀地可視化:
你也可以直接和智能Agent對(duì)話(huà),它不僅能回答你關(guān)于記憶和過(guò)往活動(dòng)的任何問(wèn)題,還能在需要用到你歷史信息的場(chǎng)景下提供幫助。
以下是一些互動(dòng)示例,感受一下它如何變成你的專(zhuān)屬數(shù)字助理:
幫我寫(xiě)一個(gè)Meta的工作申請(qǐng)
告訴我我今天做了什么
一套全新的思路
大家通常會(huì)將記憶分成Long-TermMemory(長(zhǎng)期記憶)和Short-TermMemory(短期記憶),但這其實(shí)是一個(gè)誤區(qū),這是人類(lèi)記憶的方式。
但是,對(duì)于大模型,只區(qū)分長(zhǎng)短期是不夠的,研究人員首次提出將memory分成如下六個(gè)模塊:
核心記憶(CoreMemory):存儲(chǔ)關(guān)鍵且持久的信息,如用戶(hù)姓名、喜好、助手人格特征等。分為human和persona兩大塊,當(dāng)容量超過(guò)90%時(shí)會(huì)自動(dòng)重寫(xiě)以保持精煉。
情景記憶(EpisodicMemory):記錄按時(shí)間戳排序的事件,如用戶(hù)的一次操作或?qū)υ?huà)。每條條目包含事件類(lèi)型、摘要、詳情、主體與時(shí)間,方便檢索近期行為。
語(yǔ)義記憶(SemanticMemory):存儲(chǔ)抽象概念和事實(shí),如「HarryPotter的作者是J.K.Rowling」或「John是用戶(hù)的朋友」。每條信息載有名稱(chēng)、摘要、詳情與來(lái)源,便于建立用戶(hù)知識(shí)圖譜。
程序記憶(ProceduralMemory):專(zhuān)注于任務(wù)流程和操作指南,例如「如何部署應(yīng)用」、「設(shè)置Zoom會(huì)議」等。條目由流程類(lèi)型、描述與步驟組成,支持結(jié)構(gòu)化調(diào)用。
資源記憶(ResourceMemory):保存用戶(hù)當(dāng)前正在處理的文檔、截圖、語(yǔ)音等資源。使用條目包括標(biāo)題、摘要、資源類(lèi)型及全文或摘要內(nèi)容,以便任務(wù)連續(xù)性回溯查詢(xún)。
知識(shí)金庫(kù)(KnowledgeVault):用于儲(chǔ)存敏感信息,如APIKey、密碼、聯(lián)系方式等。帶有敏感等級(jí)(低/中/高),并設(shè)置訪問(wèn)控制和加密機(jī)制,確保安全不被隨意調(diào)用。
多智能體工作流(Multi-AgentWorkflow)
由于記憶系統(tǒng)相對(duì)復(fù)雜,我們需要一個(gè)多智能體系統(tǒng)來(lái)控制這樣的記憶系統(tǒng)。
MIRIX中設(shè)置了一位MetaMemoryManager(元記憶管理者)與六位子MemoryManager(記憶子模塊),如下配合:
更新流程(MemoryUpdateWorkflow)
1.輸入觸發(fā):屏幕截圖或?qū)υ?huà)輸入進(jìn)入系統(tǒng),首先觸發(fā)全局記憶搜索。
2.路由分析:MetaManager判斷哪些memorycomponent相關(guān),決定路由方向。
3.并行更新:對(duì)應(yīng)的MemoryManager接手更新條目,去除冗余。
4.匯報(bào)完成:所有更新完畢后,MetaManager通知系統(tǒng),進(jìn)入下一輪
檢索與對(duì)話(huà)流程(Retrieval&ChatWorkflow)
1.主動(dòng)檢索(ActiveRetrieval):用戶(hù)問(wèn)問(wèn)題時(shí),ChatAgent先用LLM自動(dòng)生成一個(gè)「topic」。
2.多memory檢索:依topic從六個(gè)memorycomponent中檢索topk信息。
3.拼接響應(yīng):檢索內(nèi)容按來(lái)源打標(biāo)簽(如...),輸入系統(tǒng)prompt。
4.自然回答:結(jié)合檢索信息給出對(duì)話(huà)答復(fù)。
5.若有新信息:系統(tǒng)會(huì)將用戶(hù)新輸入路由至相關(guān)記憶模塊進(jìn)行補(bǔ)充
性能飛躍:遠(yuǎn)超RAG基準(zhǔn)及其他記憶系統(tǒng)
研究人員從三個(gè)學(xué)生的電腦上獲得了累計(jì)超過(guò)4萬(wàn)5千張高分辨率屏幕截圖,并基于這些屏幕截圖構(gòu)建了一系列的問(wèn)題,從而得到ScreenshotVQADataset。
數(shù)據(jù)集規(guī)模:每個(gè)序列包含近2萬(wàn)張高分辨率截圖,情景復(fù)雜、多模態(tài)混合,無(wú)其他系統(tǒng)可用。
對(duì)比模型
Gemini:LongContext方法。
SigLIP@50:檢索增強(qiáng)生成系統(tǒng),我們提取最相關(guān)的50張圖片并輸入給大模型回答問(wèn)題。
MIRIX:提出的方法。
性能結(jié)果
相比于RAG,MIRIX提升性能35%,存儲(chǔ)降低99.9%;
相比于LongContext方法,MIRIX存儲(chǔ)降低93%,性能提升410%。
數(shù)據(jù)集場(chǎng)景
單模態(tài)文本對(duì)話(huà),包含600個(gè)對(duì)話(huà)、平均2.6萬(wàn)token長(zhǎng),強(qiáng)調(diào)模型跨上下文的長(zhǎng)期記憶能力。
對(duì)比模型:包括LangMem、Zep、Mem0、RAG-500等多個(gè)記憶增強(qiáng)與檢索系統(tǒng)。
MIRIX表現(xiàn):整體準(zhǔn)確率達(dá)85.4%,創(chuàng)下新的SOTA記錄,遠(yuǎn)超其他基線(xiàn)。
結(jié)語(yǔ)
MIRIX標(biāo)志著大模型進(jìn)入了一個(gè)全新的發(fā)展周期——從「即時(shí)對(duì)話(huà)生成」躍升至「長(zhǎng)期記憶驅(qū)動(dòng)的智能心智」。
更重要的是,MIRIX不只是一個(gè)科研成果,團(tuán)隊(duì)同步推出了桌面?zhèn)€人助理應(yīng)用,支持即時(shí)采集多模態(tài)數(shù)據(jù),并以可視化樹(shù)狀結(jié)構(gòu)管理記憶。所有memory均存儲(chǔ)于本地SQLite,全面守護(hù)用戶(hù)隱私。
現(xiàn)在就可以下載安裝,體驗(yàn)MIRIX為你構(gòu)建全新的記憶系統(tǒng),做一個(gè)可以記住你的AI個(gè)人助理。
參考資料:
https://arxiv.org/abs/2507.07957
《貴女重生:侯府下堂妻》中讓人浮想聯(lián)翩的場(chǎng)景,是追書(shū)的動(dòng)力!
《貴女重生:侯府下堂妻》獲第一,愛(ài)貓咪的小櫻的文更棒,贊!
《貴女重生:侯府下堂妻》好文霸榜,霽原后來(lái)居上超好看,絕絕子
免責(zé)聲明:本文內(nèi)容由開(kāi)放的智能模型自動(dòng)生成,僅供參考。