黃皓瑄

新智元報(bào)道

LRST

【新智元導(dǎo)讀】加利福尼亞大學(xué)圣迭戈分校博士生王禹和紐約大學(xué)教授陳溪聯(lián)合推出并開源了MIRIX，全球首個(gè)真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。MIRIX團(tuán)隊(duì)同步上線了一款桌面端APP，可直接下載使用！

還記得第一次用GPT寫郵件的驚喜嗎？卻也一定遇到過今天的AI「忘性」——聊得再深入，窗口一關(guān)，歷史煙消云散。

因此，研究人員認(rèn)為：從「對(duì)話」到「記憶」，將是AI進(jìn)化的必經(jīng)之路。

大模型1.0時(shí)代是「即問即答」，算力與參數(shù)狂飆，卻只能做幾分鐘的「短暫陪伴」。

大模型2.0進(jìn)入「RAG補(bǔ)丁」，把資料「現(xiàn)查現(xiàn)貼」，救急卻臃腫。

大模型3.0則是「MIRIX登場(chǎng)」，第一次把「多模態(tài)長(zhǎng)期記憶」寫進(jìn)AI的底層操作系統(tǒng)。

研究人員推出并開源MIRIX，全球首個(gè)真正意義上的多模態(tài)、多智能體AI記憶系統(tǒng)。

論文鏈接：https://arxiv.org/abs/2507.07957

官方網(wǎng)站：https://mirix.io/

開源倉庫：https://github.com/Mirix-AI/MIRIX

在ScreenshotVQA這一需要深度多模態(tài)理解的挑戰(zhàn)性基準(zhǔn)上，MIRIX的準(zhǔn)確率比傳統(tǒng)RAG方法高出35%，存儲(chǔ)開銷降低99.9%，與長(zhǎng)文本方法相比超出410%，開銷降低93.3%。

在LOCOMO長(zhǎng)對(duì)話任務(wù)中，MIRIX以85.4%的成績(jī)顯著超越所有現(xiàn)有方法，樹立了新的性能標(biāo)桿。

與此同時(shí)，研究人員在Mac端上線了一款應(yīng)用產(chǎn)品，通過這款開箱即用的應(yīng)用程序，終于可以為每個(gè)人構(gòu)建專屬于自己的AI個(gè)人助理。

桌面端APP使用場(chǎng)景

直接訪問官方網(wǎng)站，即可直接下載APP:

教程鏈接：https://docs.mirix.io/getting-started/installation/#quick-installation-dmg

安裝完成并設(shè)置好GeminiAPIKey，一切就緒后，它便會(huì)悄悄啟動(dòng)，開始記錄你的電子生活點(diǎn)滴，編織出一份只屬于你的數(shù)字記憶。

所有記憶都可以直觀地可視化：

你也可以直接和智能Agent對(duì)話，它不僅能回答你關(guān)于記憶和過往活動(dòng)的任何問題，還能在需要用到你歷史信息的場(chǎng)景下提供幫助。

以下是一些互動(dòng)示例，感受一下它如何變成你的專屬數(shù)字助理：

幫我寫一個(gè)Meta的工作申請(qǐng)

告訴我我今天做了什么

一套全新的思路

大家通常會(huì)將記憶分成Long-TermMemory（長(zhǎng)期記憶）和Short-TermMemory（短期記憶），但這其實(shí)是一個(gè)誤區(qū)，這是人類記憶的方式。

但是，對(duì)于大模型，只區(qū)分長(zhǎng)短期是不夠的，研究人員首次提出將memory分成如下六個(gè)模塊：

核心記憶（CoreMemory）:存儲(chǔ)關(guān)鍵且持久的信息，如用戶姓名、喜好、助手人格特征等。分為human和persona兩大塊，當(dāng)容量超過90%時(shí)會(huì)自動(dòng)重寫以保持精煉。

情景記憶（EpisodicMemory）:記錄按時(shí)間戳排序的事件，如用戶的一次操作或?qū)υ?。每條條目包含事件類型、摘要、詳情、主體與時(shí)間，方便檢索近期行為。

語義記憶（SemanticMemory）:存儲(chǔ)抽象概念和事實(shí)，如「HarryPotter的作者是J.K.Rowling」或「John是用戶的朋友」。每條信息載有名稱、摘要、詳情與來源，便于建立用戶知識(shí)圖譜。

程序記憶（ProceduralMemory）:專注于任務(wù)流程和操作指南，例如「如何部署應(yīng)用」、「設(shè)置Zoom會(huì)議」等。條目由流程類型、描述與步驟組成，支持結(jié)構(gòu)化調(diào)用。

資源記憶（ResourceMemory）:保存用戶當(dāng)前正在處理的文檔、截圖、語音等資源。使用條目包括標(biāo)題、摘要、資源類型及全文或摘要內(nèi)容，以便任務(wù)連續(xù)性回溯查詢。

知識(shí)金庫（KnowledgeVault）:用于儲(chǔ)存敏感信息，如APIKey、密碼、聯(lián)系方式等。帶有敏感等級(jí)（低/中/高），并設(shè)置訪問控制和加密機(jī)制，確保安全不被隨意調(diào)用。

多智能體工作流（Multi-AgentWorkflow）

由于記憶系統(tǒng)相對(duì)復(fù)雜，我們需要一個(gè)多智能體系統(tǒng)來控制這樣的記憶系統(tǒng)。

MIRIX中設(shè)置了一位MetaMemoryManager（元記憶管理者）與六位子MemoryManager（記憶子模塊），如下配合：

更新流程（MemoryUpdateWorkflow）

1.輸入觸發(fā)：屏幕截圖或?qū)υ捿斎脒M(jìn)入系統(tǒng)，首先觸發(fā)全局記憶搜索。

2.路由分析：MetaManager判斷哪些memorycomponent相關(guān)，決定路由方向。

3.并行更新：對(duì)應(yīng)的MemoryManager接手更新條目，去除冗余。

4.匯報(bào)完成：所有更新完畢后，MetaManager通知系統(tǒng)，進(jìn)入下一輪

檢索與對(duì)話流程（Retrieval&ChatWorkflow）

1.主動(dòng)檢索（ActiveRetrieval）：用戶問問題時(shí)，ChatAgent先用LLM自動(dòng)生成一個(gè)「topic」。

2.多memory檢索：依topic從六個(gè)memorycomponent中檢索topk信息。

3.拼接響應(yīng)：檢索內(nèi)容按來源打標(biāo)簽（如...），輸入系統(tǒng)prompt。

4.自然回答：結(jié)合檢索信息給出對(duì)話答復(fù)。

5.若有新信息：系統(tǒng)會(huì)將用戶新輸入路由至相關(guān)記憶模塊進(jìn)行補(bǔ)充

性能飛躍：遠(yuǎn)超RAG基準(zhǔn)及其他記憶系統(tǒng)

研究人員從三個(gè)學(xué)生的電腦上獲得了累計(jì)超過4萬5千張高分辨率屏幕截圖，并基于這些屏幕截圖構(gòu)建了一系列的問題，從而得到ScreenshotVQADataset。

數(shù)據(jù)集規(guī)模：每個(gè)序列包含近2萬張高分辨率截圖，情景復(fù)雜、多模態(tài)混合，無其他系統(tǒng)可用。

對(duì)比模型

Gemini：LongContext方法。

SigLIP@50：檢索增強(qiáng)生成系統(tǒng)，我們提取最相關(guān)的50張圖片并輸入給大模型回答問題。

MIRIX：提出的方法。

性能結(jié)果

相比于RAG，MIRIX提升性能35%，存儲(chǔ)降低99.9%；

相比于LongContext方法，MIRIX存儲(chǔ)降低93%，性能提升410%。

數(shù)據(jù)集場(chǎng)景

單模態(tài)文本對(duì)話，包含600個(gè)對(duì)話、平均2.6萬token長(zhǎng)，強(qiáng)調(diào)模型跨上下文的長(zhǎng)期記憶能力。

對(duì)比模型：包括LangMem、Zep、Mem0、RAG-500等多個(gè)記憶增強(qiáng)與檢索系統(tǒng)。

MIRIX表現(xiàn)：整體準(zhǔn)確率達(dá)85.4%，創(chuàng)下新的SOTA記錄，遠(yuǎn)超其他基線。

結(jié)語

MIRIX標(biāo)志著大模型進(jìn)入了一個(gè)全新的發(fā)展周期——從「即時(shí)對(duì)話生成」躍升至「長(zhǎng)期記憶驅(qū)動(dòng)的智能心智」。

更重要的是，MIRIX不只是一個(gè)科研成果，團(tuán)隊(duì)同步推出了桌面?zhèn)€人助理應(yīng)用，支持即時(shí)采集多模態(tài)數(shù)據(jù)，并以可視化樹狀結(jié)構(gòu)管理記憶。所有memory均存儲(chǔ)于本地SQLite，全面守護(hù)用戶隱私。

現(xiàn)在就可以下載安裝，體驗(yàn)MIRIX為你構(gòu)建全新的記憶系統(tǒng)，做一個(gè)可以記住你的AI個(gè)人助理。

參考資料：

https://arxiv.org/abs/2507.07957

良心力薦爆文《絕世狂妃:廢柴大小姐》,章章都有新發(fā)現(xiàn)!

古言寵文:她被男人逼至岸角:“女人,敢把我當(dāng)解藥用?”

讓讀者奉為經(jīng)典的五本仙俠幻情必讀小說,男主真的太蘇了