長期記憶，正在從工程補(bǔ)丁，變成大模型能力的核心坐標(biāo)軸。

日前，Google在其發(fā)布的論文《Nested Learning: The Illusion of Deep Learning Architectures》中，提出了一個名為 HOPE 的新框架試圖解決大模型長期記憶的問題。

這一架構(gòu)備受關(guān)注，因?yàn)殚L期記憶一直困擾著大模型的發(fā)展，甚至影響著AI落地到智能體的廣度與深度。

今天讓 AI 寫一段漂亮的回答不難，難的是隔了一周、換了工作任務(wù)，它還記得你之前某次對話的關(guān)鍵細(xì)節(jié)，不斷更新對你的個性化記憶。也只有在這一刻，大模型才真正開始接近「持續(xù)工作的智能體」，而不是一次性消耗品。

可以說，大模型的「短期能力」決定了它能不能把一句話說通，但長期記憶真正決定的，其實(shí)是它有沒有資格被稱為「助手」。

也正是因?yàn)檫@一點(diǎn)，去年最后一天谷歌研究團(tuán)隊(duì)提出的 Titans 架構(gòu)，在 2025 年被反復(fù)翻出來討論，并不意外。這篇論文試圖回答的，并不是「上下文還能拉多長」這種老問題，而是一個更本質(zhì)的命題：

當(dāng)注意力只是短期記憶，大模型到底該如何擁有真正的長期記憶。

圖片來源：谷歌

在 Titans 里，Transformer 的 self-attention（自注意力機(jī)制）被明確界定為「短期系統(tǒng)」，而一個獨(dú)立的神經(jīng)長期記憶模塊，負(fù)責(zé)跨越上下文窗口、選擇性地存儲和調(diào)用關(guān)鍵信息。這套思路，幾乎重新定義了大模型的「大腦結(jié)構(gòu)」。

現(xiàn)在回頭這一年，從谷歌 Titans 到字節(jié) MemAgent，再到谷歌 Hope 架構(gòu)，大模型的長期記憶真正有了突破。

過去一年，不論是谷歌在此基礎(chǔ)上延展出的多時間尺度記憶體系，還是行業(yè)里圍繞超長上下文、智能體（Agent）記憶、外部記憶中臺展開的密集探索，都指向同一個趨勢：長期記憶，正在從工程補(bǔ)丁，變成大模型能力的核心坐標(biāo)軸。

模型不再只比誰的窗口更長、參數(shù)更多，而是開始比誰記得更有選擇、更穩(wěn)定、也更「像人」。大模型的長期記憶不再只是論文里的性能指標(biāo)，而是決定「能不能長期被用、敢不敢被信任」的關(guān)鍵能力。

從 Titans 到 Hope，長期記憶在為智能體「打基礎(chǔ)」

今年 8 月中旬，谷歌為 Gemini 推出了兩項(xiàng)重大更新，分別是基于聊天上下文的「自動記憶」功能和保護(hù)隱私的「臨時聊天」模式。

顧名思義，「自動記憶」是指 Gemini 會通過學(xué)習(xí)用戶過去的聊天記錄，記憶對話中的關(guān)鍵細(xì)節(jié)、用戶偏好、長期項(xiàng)目背景、反復(fù)出現(xiàn)的需求等，并在后續(xù)回答中實(shí)現(xiàn)主動的個性化回答。

類似的變化并不只發(fā)生在 Gemini 身上。過去一年，從 ChatGPT、豆包到 11 月推出的訊飛星火 X1.5，幾乎所有頭部 AI 助手都在通過引入「長期記憶模塊」，努力讓大模型在跨會話、跨場景中保持連續(xù)性，讓 AI 能夠更新并記憶用戶畫像、歷史任務(wù)狀態(tài)和關(guān)鍵決策信息。

圖片來源：科大訊飛

不過繼續(xù)向上追溯，這一波產(chǎn)品層的變化，并不是孤立發(fā)生的，而是 2025 年大模型底層技術(shù)演進(jìn)的直接結(jié)果。

首先被重新確認(rèn)的一點(diǎn)是，長上下文不是大模型記憶的終點(diǎn)。

超長上下文仍然重要，但它越來越被視為一種「放大的短期記憶」——成本高、也無法判斷哪些信息值得被長期保留。而 Titans 的意義，并不在于把窗口再拉長，而在于明確區(qū)分：注意力只是短期系統(tǒng)，長期記憶必須是一個可持續(xù)更新的組件。

11 月，谷歌更是提出將模型訓(xùn)練過程也視為一層記憶（Nested Learning），并給出了升級版的 Hope 架構(gòu)，開始把「記憶」理解為多時間尺度的連續(xù)體，短期上下文、中期狀態(tài)、長期經(jīng)驗(yàn)不再是割裂的模塊，而是按更新頻率和穩(wěn)定性分布在同一套學(xué)習(xí)系統(tǒng)中。

Hope 與 Titans、Transformer 架構(gòu)對比困惑度（左）和常識推理（右），圖片來源：谷歌

與此同時，長期記憶的重心從「記住文本」轉(zhuǎn)向「記住經(jīng)驗(yàn)」。過去常見的做法是用向量數(shù)據(jù)庫或知識庫做 RAG，把它當(dāng)成模型的「外部硬盤」。但現(xiàn)在這種做法正在被重新審視，長期記憶不只是檢索答案，而是需要參與推理過程，影響模型的決策和行為。

還是在 11 月，谷歌提出 Evo-Memory benchmark 和 ReMem 框架，明確將長期記憶放入智能體的工作流中考察：模型是否能在連續(xù)任務(wù)中提煉經(jīng)驗(yàn)、復(fù)盤策略，并在后續(xù)任務(wù)中真正用上。長期記憶不再只是為對話服務(wù)，而是直接決定智能體是否具備持續(xù)進(jìn)化能力。

事實(shí)上，字節(jié)跳動與清華聯(lián)合提出的 MemAgent，則通過強(qiáng)化學(xué)習(xí)訓(xùn)練模型在超長上下文中「學(xué)會取舍」，讓模型主動形成長期記憶習(xí)慣，而不是被動堆疊文本。這些工作雖然路徑不同，但都指明了長期記憶必須逐步內(nèi)化為模型能力，而不只是工程外掛。

長期記憶的中國路線：MiniMax/豆包/DeepSeek有何不同思路？

今年年初，MiniMax 宣布了首個線性注意力架構(gòu)大模型開源，官方就指出現(xiàn)有智能體的「長期記憶」大多只是外掛 RAG 工具，這嚴(yán)格意義上不算記憶。

事實(shí)的確如此。在早期實(shí)踐中，向量數(shù)據(jù)庫加 RAG 幾乎是默認(rèn)方案：需要記住什么，就檢索什么。但隨著智能體逐漸承擔(dān)多步驟任務(wù)，這種「查完就走」的記憶方式開始顯得吃力。

最近豆包手機(jī)引爆了業(yè)界關(guān)于AI手機(jī)的討論，其實(shí)豆包在 Agent 體系中關(guān)于長記憶的探索也具有很強(qiáng)的代表性，其長期記憶被拆分進(jìn)整個工作流，用來保存用戶畫像、任務(wù)狀態(tài)、階段性結(jié)論，甚至失敗經(jīng)驗(yàn)。

MemAgent 的基本結(jié)構(gòu)，圖片來源：字節(jié)跳動

MemAgent 這一類方案，本質(zhì)上并不是在擴(kuò)展上下文長度，而是在訓(xùn)練模型理解哪些信息會影響下一步?jīng)Q策。簡言之，記憶不再是查資料，而是參與判斷。

從這個角度看，字節(jié)與清華聯(lián)合提出的 MemAgent 并不是一篇孤立的學(xué)術(shù)工作。它關(guān)注的，并不是如何壓縮文本或擴(kuò)展容量，而是通過強(qiáng)化學(xué)習(xí)，讓模型在超長上下文和連續(xù)任務(wù)中逐漸學(xué)會「取舍」。模型需要理解哪些信息值得保留，哪些只適合短期使用，甚至哪些應(yīng)該被主動遺忘。

背后也體現(xiàn)了一種非常明確的判斷，即長期記憶如果不能改變模型的行動策略，本質(zhì)上仍然只是工程緩存。

正如前文所提，不論是行業(yè)的實(shí)踐，還是圍繞智能體展開的多種系統(tǒng)設(shè)計，都在強(qiáng)調(diào)對「過程信息」的保留。這也解釋了為什么強(qiáng)化學(xué)習(xí)開始被用于「記憶行為」的訓(xùn)練，而不是簡單地擴(kuò)大知識庫。

與之不同的是，MiniMax 在今年初就通過線性注意力等架構(gòu)創(chuàng)新，把模型可處理的上下文推至百萬乃至數(shù)百萬 token 級別。

這并不是單純?yōu)榱怂⑿轮笜?biāo)，而是試圖用容量換取系統(tǒng)簡化。當(dāng)模型本身一次可以穩(wěn)定「看見」更多內(nèi)容時，部分原本需要頻繁調(diào)度、反復(fù)檢索的外部記憶，就可以暫時被收進(jìn)上下文視野之中。

但 MiniMax 的實(shí)踐并沒有停留在「超長上下文窗口」。

圖片來源：MiniMax

相反，他們在此基礎(chǔ)上繼續(xù)引入獨(dú)立的記憶層，用于管理長期知識與經(jīng)驗(yàn)。先解決「裝不裝得下」，再討論「該不該留下來」。在這種框架下，長期記憶不再完全依賴于頻繁的 RAG 調(diào)用，而是通過更大的模型內(nèi)視野與更少的系統(tǒng)切換，降低整體復(fù)雜度。

而 DeepSeek 的策略，則構(gòu)成了一個有意義的對照。DeepSeek 并沒有在模型側(cè)押注復(fù)雜的長期記憶機(jī)制，而是將其明確外置，通過 RAG、向量庫或各類記憶組件完成。倒不是在回避問題，而是基于一個更克制的判斷：

長期記憶高度依賴具體場景，不同應(yīng)用需要的記憶形態(tài)差異巨大，與其在模型里「一刀切」，不如提供一個高質(zhì)量的推理核心，讓開發(fā)者自行組合記憶方案。

寫在最后

2025 年，大模型長期記憶真正發(fā)生變化的，并不是某一項(xiàng)指標(biāo)被刷新，而是它的角色定位被徹底改寫了。從早期依賴 RAG 的「外接硬盤」，到今天逐步進(jìn)入模型結(jié)構(gòu)與智能體工作流，長期記憶開始成為影響決策、塑造行為的一部分，而不只是被動存儲信息的容器。

或許可以這么說，未來大模型之間真正的差異，不再只體現(xiàn)在模型規(guī)�；蛲评硭俣壬希�還在于一套成熟、可控、可持續(xù)演化的記憶機(jī)制。因?yàn)橹挥挟?dāng)一個模型真正記得住、也管得住，它才有可能被長期使用、反復(fù)依賴，甚至被交付更大的決策權(quán)。

Gemini豆包MiniMax大模型智能體

來源：雷科技

本文圖片來自：123RF 正版圖庫     

       原文標(biāo)題 : 谷歌新架構(gòu)逆天！為了讓AI擁有長期記憶，豆包們都想了哪些招數(shù)？