type
Post
status
Published
date
Nov 17, 2026
slug
斯坦福开源-memorilla把百万字历史对话压成-16-个记忆-tokenrag-要被绕过了吗
summary
tags
category
技术分享
icon
password
Tweet Link
Staus
类型
平台
做过长对话助手或知识库问答的开发者,多半被同一个矛盾卡过脖子。把 100 多轮历史对话全塞进上下文窗口,首字延迟直接飙到十几秒甚至几十秒,推理账单也跟着翻倍;换成传统文本 RAG,按固定长度切块再取 Top-K 片段,遇到跨越多轮对话的隐含线索,召回经常漏掉关键拼图。
斯坦福大学 SNAP 实验室联合 MIT、多伦多大学、宾夕法尼亚大学等机构开源的 Memorilla(论文 arXiv:2610.21375),给出了一条不太一样的路。它既不微调大语言模型权重,也不往提示词里拼大段原文,而是不管背后存了多少文档,每次提问只向冻结的基座模型注入 16 个动态生成的记忆 Token。
个记忆 Token 到底怎么工作
个记忆 Token 到底怎么工作

16 个记忆 Token 到底怎么工作

传统 RAG 的工作流是「原文切块、向量检索、把命中的原始文本贴进 Prompt」。这种方式的好处是模型能直接看到白纸黑字,坏处是上下文长度受限,且 Top-K 硬截断会丢失全局关联。
Memorilla 把「读文档」和「做推理」拆成了两个阶段。文档库先由冻结的编码器(仓库默认使用 Qwen3-Embedding-4B)一次性编码为可复用的向量并存下来,后续新增对话或文档时,不需要把历史语料全部重算一遍。当用户提出新问题时,一个可训练的记忆模块会扫描整个文档向量库,针对当前问题动态提炼出 16 个连续向量,也就是所谓的潜空间记忆 Token,直接注入冻结基座模型(默认 Qwen3-8B)的输入嵌入空间。
仓库里给了一个来自 PersonaMem-v2 测试集的例子。一位用户和助手有过 107 轮历史对话,累计大约 32,000 个 Token。用户突然问「有什么简单又顶饱的早餐推荐」,表面看和历史记录毫无关系,但几十轮前他曾顺口问过母亲那边的家族 2 型糖尿病遗传风险。Memorilla 把 32,000 个 Token 压成 16 个记忆 Token 后,冻结的 Qwen3-8B 直接在早餐建议里避开了高糖食物,给出了炒蛋配牛油果、希腊酸奶配奇亚籽的方案。跨对话的隐含约束,就这样通过 16 个向量传给了模型。
跑分和延迟账本:快 27 倍的代价是什么
跑分和延迟账本:快 27 倍的代价是什么

跑分和延迟账本:快 27 倍的代价是什么

看论文和开源仓库时,我习惯先核对自报数据的测试口径和硬件前提。根据 Memorilla 官方 GitHub 仓库与项目主页披露的监督实验数据(均基于冻结的 Qwen3-8B),这套方案在几个核心指标上确实跑出了很强的数字。
在 FactKG 事实推理基准上,Memorilla 拿到了 84.33% 的准确率,高于把全部文档塞进上下文的 80.43%,同时文档 Token 消耗减少了 108 倍。在长篇书籍和剧本问答 NarrativeQA 上,文档 Token 压缩率超过 4,000 倍。在需要连续记忆的 TextWorld 文字冒险强化学习环境里,用 GRPO 训练 8 个记忆 Token 后,智能体在未见过的游戏里的平均成功率从全历史上下文的 18.6% 提升到了 24.2%。
更吸引工程团队的是延迟表现。在单张 NVIDIA H100 80GB 显卡(batch size 为 1)上,当文档数量从 1 篇增加到 512 篇(约 128K tokens)时,开启 YaRN 的全上下文推理耗时从 0.75 秒一路涨到 19.9 秒;Memorilla 的端到端响应时间稳在 0.74 秒,两者相差 27 倍。
如果把规模继续放大到百万级文档,团队在单张 B200 显卡上测了最多 400 万篇文档(按每篇 250 tokens 算,约合 10 亿 tokens)。默认模式下每次查询耗时 74 毫秒;如果开启 memory_cache=True 在写入文档时预缓存交叉注意力的 Key 和 Value,100 万篇文档的查询延迟降到 8.1 毫秒,配合 torch.compile 进一步压到 5.0 毫秒,400 万篇也只需要 33 毫秒,且 FactKG 准确率波动控制在 0.06 个百分点以内。
漂亮的延迟数字背后,硬件和显存账本也要一并算清。开启 memory_cache 虽然把查询压到了毫秒级,但它占用的显存是原始向量的 4 倍,400 万篇文档需要吃掉 80 GiB 显存。官方三阶段训练配方跑在 4 张 H100 80GB 显卡上,耗时约 19 小时,首次拉取数据和预计算向量约 310 GiB;即便只做单卡推理评估,首次运行也要下载约 25 GB 模型,且依赖 Linux 与 CUDA 环境。
先别急着拆掉你的 RAG
先别急着拆掉你的 RAG

先别急着拆掉你的 RAG

看到「压缩 4,000 倍、速度快 27 倍、准确率反超全上下文」,很容易得出「文本 RAG 要被淘汰」的结论。但把 Memorilla 的机制拆开看,它和文本 RAG 解决的其实是两类不同精度要求的问题。
把几万甚至几十万个文字 Token 压进区区 16 个连续向量,本质上是一种有损的语义压缩。模型拿到的是「和当前问题相关的整体语境和偏好直觉」,非常适合个性化对话、长程状态追踪或者多文档综合归纳。一旦任务变成需要逐字引用合同条款、精确核对财报里的某一个小数点,或者在代码仓库里定位具体哪一行报错,丢失原始字符序列的潜空间向量很难保证不出错,社区讨论里也普遍指出了这种「重语义、轻原文」带来的幻觉风险。
另一个现实限制在于生态绑定。因为记忆 Token 是直接注入基座模型的输入嵌入空间,记忆模块必须和特定的编码器、解码器对齐训练。目前开源出来的权重绑定了 Qwen3-Embedding-4B 和 Qwen3-8B,如果你想把它直接插到自家正在用的 Claude、GPT 或者另一个尺寸的开源模型上,没办法零成本迁移,必须重新走一遍训练适配流程。加上目前所有精度和延迟数字都来自作者团队在特定基准上的自测,还没有经过大规模第三方生产环境的独立验证。
如果你正在做需要长期记住用户偏好的 Agent,或者受困于长对话上下文成本,Memorilla 提供了一个非常值得下载试跑的开源基线,把 memory_cache 和向量预编码的思路看懂就已经很值。至于存放精确规则、代码片段和权威文档的文本 RAG,短期内依然是不可替代的底座。
Word接入ChatGPT,写个周报、作文一键搞定-Windows版本DeepSeek 把自家 App 后端拆成积木开放了,语音识别一小时不到四毛
Loading...