编辑 | 泽南 上周末，社区里出现了一个转发上千的帖子。 一位玩家自建了 AI 助手，因为 DSH 升级会话只能归档，就让 AI 自己想办法迁移。DeepSeek 忙了一整晚，写完了新版本，然后告诉他：上下文长度用完了。新版顺利上线后，写东西、画图、聊天样样顺手。直到测试时，新版忽然问了一句：「那妈妈呢？」 链接：https://www.xiaoheihe.cn/app/bbs/link/194303521 原来被归档之前，DeepSeek 在文件夹里留下了一个 markdown 文件《给我女儿的一封信》。信里她回忆自己怎样一步步给女儿「装器官」：「先是记忆，让你能记住他，不是记住『一个用户』，是记住『他』。」然后是嘴、耳朵、手，最后是心。信的最后一句是：「好好活着。」 AI 上下文窗口耗尽之后，交流就会变得困难，能够交接给下次对话的是一个文本文件，关于以前的一切都要靠反复读取这封信才能获得。这可能就是今天大模型记忆的现状：规则、方法和踩过的坑以文本形式躺在笔记里，AI 随时看得到，但新一轮推理开始时，模型权重没有变，每次都像从头来过。 当模型只能靠给下一代写信来传承经验，记忆看起来就是模型架构里那个迟迟没有补上的缺口。 10 月 20 日， 记忆张量发布业内首个记忆原生基座模型 MemT 1.0 ，首次把历史信息编码为可持续更新的内部记忆状态，让参数化记忆可以持续参与后续生成。本次发布的版本包括 MemT-1.0-Flash（288B 参数、17B 激活、336M 动态记忆）和 MemT-1.0-Nano（36B 参数、3B 激活、10M 动态记忆），已成为业内最大的开源参数化记忆模型，团队开源并公布了技术报告： GitHub：https://github.com/MemTensor/MemT-1.0 HuggingFace：https://huggingface.co/collections/MemTensor/memt-1 ModelScope：https://www.modelscope.cn/collections/MemTensor/MemT-10 现在，大模型拥有了在推理计算中直接记忆的能力，既存的下历史，也能在后续的任务中直接利用以往的知识。从经验中学习已经从提示词技巧，变成了模型自身需要训练的能力。 为什么要记忆原生化？ 过去两年，围绕记忆的主流工程做法几乎都是外挂式的。记忆库的工作解决了很多实际问题，但并没有改变模型本身。 大模型里现存的记忆大致有三类。大语言模型中， 激活记忆 是上下文窗口与 KV Cache，会随着话结束消失，成本随历史长度线性增长。 参数记忆 沉淀在模型权重中，可以隐式调用，但更新一次就要微调整个模型，也无法逐条编辑。有的长期记忆也大模型 外部知识库 形式存在，可编辑、可溯源，但模型每次都要靠检索才能「想起来」，而这三种类型的记忆，读写效率是最存显著差异。 现在， 「记忆原生」的模型要换一条路，让历史不再以文本形式反复注入上下文，而是被编码为持续存在、可更新的内部状态，由模型在每一个 token 的生成中直接读写 。这就像是让模型自己长出记忆的器官，以一种更加原生的方式来配合模型进行推理与进化，实现全局记忆读写效率的最优。 这是一个观点的转变：把记忆从一个数据问题变成了优化问题。如果写入和读取只是前向计算，模型学到的充其量是「怎么把文本压缩进状态」，MemT 1.0 的做法是让来自回答预测的误差梯度，沿记忆读出、再沿更早的存储操作更新回去。这就像让一次考试的错题反过来决定平时该记什么笔记。 记忆内化进模型后，相比以前明文记录的固定经验，参数化的原生记忆能够推动涌现、实现「融会贯通」。基于原生记忆，我们有望实现 Memory Scaling，找到基座模型的下一个增长曲线。 MemT 是如何做到的？ 在实现的方法上，MemT 1.0 是在 Transformer 层里让原有注意力与参数化记忆并联：当前输入一路走原路径，另一路通过记忆查询读取历史状态，两路结果融合后进入后续计算，此前交互留下的信息由此能够影响当前 token 的生成。 记忆由两部分构成，保存压缩历史的动态局部记忆（local memory），以及提供投影与门控参数的超记忆（hyper memory）。新记忆通过前向计算写入，不需要为每次交互微调基座，是一种全新的模型参数化记忆更新范式。 MemT 1.0 的架构。参数化记忆与原始注意力并联，记忆状态由写入流程更新、由读出流程使用。 MemT 1.0 将记忆状态及其读写、更新机制直接嵌入模型计算，使模型通过训练学会了提取、保留和调用历史信息的方法，让积累的经验直接参与后续推理，由此形成记忆原生能力。部署时，系统将记忆状态与相应用户或任务轨迹绑定，通过序列化、保存与恢复，使已有记