新智元報道
LRST
【新智元導(dǎo)讀】加利福尼亞大學(xué)圣迭戈分校博士生王禹和紐約大學(xué)教授陳溪聯(lián)合推出并開源了MIRIX,全球首個真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。MIRIX團隊同步上線了一款桌面端APP,可直接下載使用!
還記得第一次用GPT寫郵件的驚喜嗎?卻也一定遇到過今天的AI「忘性」——聊得再深入,窗口一關(guān),歷史煙消云散。
因此,研究人員認為:從「對話」到「記憶」,將是AI進化的必經(jīng)之路。
大模型1.0時代是「即問即答」,算力與參數(shù)狂飆,卻只能做幾分鐘的「短暫陪伴」。
大模型2.0進入「RAG補丁」,把資料「現(xiàn)查現(xiàn)貼」,救急卻臃腫。
大模型3.0則是「MIRIX登場」,第一次把「多模態(tài)長期記憶」寫進AI的底層操作系統(tǒng)。
研究人員推出并開源MIRIX,全球首個真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。
論文鏈接:https://arxiv.org/abs/2507.07957
官方網(wǎng)站:https://mirix.io/
開源倉庫:https://github.com/Mirix-AI/MIRIX
在ScreenshotVQA這一需要深度多模態(tài)理解的挑戰(zhàn)性基準上,MIRIX的準確率比傳統(tǒng)RAG方法高出35%,存儲開銷降低99.9%,與長文本方法相比超出410%,開銷降低93.3%。
在LOCOMO長對話任務(wù)中,MIRIX以85.4%的成績顯著超越所有現(xiàn)有方法,樹立了新的性能標桿。
與此同時,研究人員在Mac端上線了一款應(yīng)用產(chǎn)品,通過這款開箱即用的應(yīng)用程序,終于可以為每個人構(gòu)建專屬于自己的AI個人助理。
桌面端APP使用場景
直接訪問官方網(wǎng)站,即可直接下載APP:
教程鏈接:https://docs.mirix.io/getting-started/installation/#quick-installation-dmg
安裝完成并設(shè)置好GeminiAPIKey,一切就緒后,它便會悄悄啟動,開始記錄你的電子生活點滴,編織出一份只屬于你的數(shù)字記憶。
所有記憶都可以直觀地可視化:
你也可以直接和智能Agent對話,它不僅能回答你關(guān)于記憶和過往活動的任何問題,還能在需要用到你歷史信息的場景下提供幫助。
以下是一些互動示例,感受一下它如何變成你的專屬數(shù)字助理:
幫我寫一個Meta的工作申請
告訴我我今天做了什么
一套全新的思路
大家通常會將記憶分成Long-TermMemory(長期記憶)和Short-TermMemory(短期記憶),但這其實是一個誤區(qū),這是人類記憶的方式。
但是,對于大模型,只區(qū)分長短期是不夠的,研究人員首次提出將memory分成如下六個模塊:
核心記憶(CoreMemory):存儲關(guān)鍵且持久的信息,如用戶姓名、喜好、助手人格特征等。分為human和persona兩大塊,當容量超過90%時會自動重寫以保持精煉。
情景記憶(EpisodicMemory):記錄按時間戳排序的事件,如用戶的一次操作或?qū)υ?。每條條目包含事件類型、摘要、詳情、主體與時間,方便檢索近期行為。
語義記憶(SemanticMemory):存儲抽象概念和事實,如「HarryPotter的作者是J.K.Rowling」或「John是用戶的朋友」。每條信息載有名稱、摘要、詳情與來源,便于建立用戶知識圖譜。
程序記憶(ProceduralMemory):專注于任務(wù)流程和操作指南,例如「如何部署應(yīng)用」、「設(shè)置Zoom會議」等。條目由流程類型、描述與步驟組成,支持結(jié)構(gòu)化調(diào)用。
資源記憶(ResourceMemory):保存用戶當前正在處理的文檔、截圖、語音等資源。使用條目包括標題、摘要、資源類型及全文或摘要內(nèi)容,以便任務(wù)連續(xù)性回溯查詢。
知識金庫(KnowledgeVault):用于儲存敏感信息,如APIKey、密碼、聯(lián)系方式等。帶有敏感等級(低/中/高),并設(shè)置訪問控制和加密機制,確保安全不被隨意調(diào)用。
多智能體工作流(Multi-AgentWorkflow)
由于記憶系統(tǒng)相對復(fù)雜,我們需要一個多智能體系統(tǒng)來控制這樣的記憶系統(tǒng)。
MIRIX中設(shè)置了一位MetaMemoryManager(元記憶管理者)與六位子MemoryManager(記憶子模塊),如下配合:
更新流程(MemoryUpdateWorkflow)
1.輸入觸發(fā):屏幕截圖或?qū)υ捿斎脒M入系統(tǒng),首先觸發(fā)全局記憶搜索。
2.路由分析:MetaManager判斷哪些memorycomponent相關(guān),決定路由方向。
3.并行更新:對應(yīng)的MemoryManager接手更新條目,去除冗余。
4.匯報完成:所有更新完畢后,MetaManager通知系統(tǒng),進入下一輪
檢索與對話流程(Retrieval&ChatWorkflow)
1.主動檢索(ActiveRetrieval):用戶問問題時,ChatAgent先用LLM自動生成一個「topic」。
2.多memory檢索:依topic從六個memorycomponent中檢索topk信息。
3.拼接響應(yīng):檢索內(nèi)容按來源打標簽(如...),輸入系統(tǒng)prompt。
4.自然回答:結(jié)合檢索信息給出對話答復(fù)。
5.若有新信息:系統(tǒng)會將用戶新輸入路由至相關(guān)記憶模塊進行補充
性能飛躍:遠超RAG基準及其他記憶系統(tǒng)
研究人員從三個學(xué)生的電腦上獲得了累計超過4萬5千張高分辨率屏幕截圖,并基于這些屏幕截圖構(gòu)建了一系列的問題,從而得到ScreenshotVQADataset。
數(shù)據(jù)集規(guī)模:每個序列包含近2萬張高分辨率截圖,情景復(fù)雜、多模態(tài)混合,無其他系統(tǒng)可用。
對比模型
Gemini:LongContext方法。
SigLIP@50:檢索增強生成系統(tǒng),我們提取最相關(guān)的50張圖片并輸入給大模型回答問題。
MIRIX:提出的方法。
性能結(jié)果
相比于RAG,MIRIX提升性能35%,存儲降低99.9%;
相比于LongContext方法,MIRIX存儲降低93%,性能提升410%。
數(shù)據(jù)集場景
單模態(tài)文本對話,包含600個對話、平均2.6萬token長,強調(diào)模型跨上下文的長期記憶能力。
對比模型:包括LangMem、Zep、Mem0、RAG-500等多個記憶增強與檢索系統(tǒng)。
MIRIX表現(xiàn):整體準確率達85.4%,創(chuàng)下新的SOTA記錄,遠超其他基線。
結(jié)語
MIRIX標志著大模型進入了一個全新的發(fā)展周期——從「即時對話生成」躍升至「長期記憶驅(qū)動的智能心智」。
更重要的是,MIRIX不只是一個科研成果,團隊同步推出了桌面?zhèn)€人助理應(yīng)用,支持即時采集多模態(tài)數(shù)據(jù),并以可視化樹狀結(jié)構(gòu)管理記憶。所有memory均存儲于本地SQLite,全面守護用戶隱私。
現(xiàn)在就可以下載安裝,體驗MIRIX為你構(gòu)建全新的記憶系統(tǒng),做一個可以記住你的AI個人助理。
參考資料:
https://arxiv.org/abs/2507.07957
近年最棒爆款《封神之灶王爺奮斗史》,比《劍來》更有趣,一直過癮...
今日推薦:《封神之灶王爺奮斗史》作者:簫酒。點擊文末超鏈接開始觀看吧~第三百一十三章這么小鄧嬋玉對于師父崇拜的不得了,她沒想到鎮(zhèn)守天門的四位天王,竟然對師父這么客氣?!皫煾?,咱們?nèi)ツ陌??”跟在齊元身旁,鄧嬋玉一邊望著天庭之上眾多勝景,一邊問道?!跋热閹熢谔焱サ母 !饼R元說道:“為師需要先去凌霄寶殿面是什么。 今日推薦:《封神之灶王爺奮斗史》作者:簫酒。點擊文末超鏈接開始觀看吧~第五十六章坐騎原本蛇鶴相爭,如果不是修為差距太大的話,應(yīng)該是鶴占上風(fēng)才對,畢竟這類靈禽天生克制蛇類——-。不過此時這只靈鶴顯然落入下風(fēng),不但它的左側(cè)羽翼明顯受了傷,聳拉著用不上力,就連身上也被這條青蛇的毒牙咬中一處,傷口等我繼續(xù)說。正月初四迎的灶神,是神仙系統(tǒng)最基礎(chǔ)的神,天庭的監(jiān)察使者??夜述封神