条件记忆与Engram模块：大模型稀疏化推理的新路径

1. 项目概述：这篇论文到底在讲什么

最近大模型圈子有个有意思的现象：各家都在拼命堆参数，模型越做越大，但推理成本也跟着水涨船高，很多团队已经吃不消了。我刚读到DeepSeek这篇关于条件记忆与Engram模块的论文时，第一反应是"终于有人把稀疏化的路子拓宽了"。它核心的思想是：大模型的参数并不需要在每次推理时全部激活，而是通过一种类似"条件触发"的机制，按需动态调取记忆单元。这个思路如果走得通，会直接影响未来模型架构设计和推理引擎的优化方向。

论文的标题里藏着两个关键词：条件记忆和Engram模块。条件记忆指的是模型对信息的存储和调用不再是无条件的全量写入、全量读取，而是学会了"什么时候该记、什么时候该取"；Engram这个词本身是神经科学里的术语，指记忆痕迹，也就是大脑中某个记忆对应的物理存储点位。把Engram引入大模型架构，本质上是想给模型的每个记忆片段一个清晰可定位的物理坐标，让它能被精准索引。

这篇内容适合谁看呢？如果你在做大模型架构设计、推理加速、模型压缩，或者你在为长上下文场景发愁，那这里面的思路很值得你花时间研究。即使你只是用开源模型做应用层开发，理解模型的稀疏化原理，也能帮你在选型时判断什么样的模型更适合你的硬件资源和业务场景。

需要明确一点：这篇论文目前更多是研究阶段的探索，不是已经全面落地的基础设施方案。但它提出了一种新的模型组织方式，把稀疏化的粒度从"层"和"专家"下沉到了"记忆片段"级别，这是一个很值得拆解的转变。

2. 为什么说"稀疏化"一直喊口号却难落地

2.1 大模型的算力困境

先回顾一个谁都绕不开的问题：大模型的推理成本为什么居高不下。一个百亿甚至千亿参数的模型，无论你输入一个标点符号还是一篇长文，它都要把所有参数从头到尾计算一遍。这就像一家公司，不管今天有没有业务，所有员工都必须到岗坐满八小时。这种"全量激活"的模式在参数规模小的时候问题不大，但到了千亿级别，每一层Transformer的计算量都会变成沉重的负担。

分布式推理和量化已经缓解了一部分压力，但它们没有改变"全参数都必须参与计算"这个根本逻辑。量化只是把每个参数从32位缩到8位或4位，减小了显存占用和带宽压力；分布式只是把参数分散到多张卡上。参数数量本身没有减少，计算量也没有结构性下降。

真正能结构性降低计算量的方向，就是稀疏化。稀疏化的意思是：给定一个输入，模型只激活一部分参数，剩下的参数这次推理根本不参与。这条路听起来很美，但为什么市场上一直没能普及？原因很简单：稀疏化容易做，做好很难。

2.2 已有稀疏化路线的局限

目前大家比较熟悉的稀疏化路线有两条。第一条是权重剪枝，训练完之后把绝对值小的权重直接置零。这种方式实现起来简单，但问题在于剪枝之后的模型精度通常会掉，需要做大量微调恢复，而且剪枝比例到了50%以上之后，精度下降会非常陡峭。

第二条是混合专家模型（MoE）。MoE是目前工业界比较认可的方向，它的做法是把FFN层拆成多个"专家"子网络，每次推理只让路由网络挑选其中Top-K个专家参与计算。这个思路相比全量激活已经是巨大进步，但MoE有一个老问题：内存占用不降反升。因为所有专家参数都得常驻显存，只是每次只计算其中几个。另外，MoE在训练中容易出现路由坍塌，也就是所有token都涌向少数几个专家，其他专家形同虚设。

这两条路线的共性问题是：稀疏化的粒度不够细，且缺少有效的记忆复用机制。剪枝是静态的稀疏，MoE是粗粒度的动态稀疏。DeepSeek这篇论文提出的Engram模块，更像是把稀疏化的粒度进一步下沉，并且让参数本身带上"记忆属性"，什么时候被调用是模型根据输入动态决定的，而不是提前写死的。

2.3 从"计算稀疏"到"记忆稀疏"

论文里有一个很关键的视角切换：它把模型参数分了类，一类是"通用能力参数"，负责处理所有输入都要用的基础变换；另一类是"记忆参数"，承载着从训练数据里学到的高频模式。通用能力参数始终参与计算，但记忆参数只在输入触发了对应条件时才被激活。

这个视角很有意思。以前的稀疏化是"我不需要这些权重了，所以不计算它们"，本质是删减。Engram的思路是"这些权重是记忆，只有相关时才算"，本质是检索。前者容易被感知为损失，后者被感知为调用。同一个稀疏化动作，因为叙事逻辑不同，对应的架构设计和技术路线也会完全不同。

打个比方，一个传统模型像一栋办公楼，每层都亮着灯，所有房间全天开放；MoE像一家商场，平时只开放一部分商铺，但商铺全都在；Engram模块像一座图书馆管理系统，几乎所有书都储存在仓库，只有当你检索到某一本时，它才会被送上前台。前台放不下那么多书，但仓库是无限的，这就是条件记忆的精髓：不把记忆堆在"接待区"，而是靠条件触发机制去精准提取。

3. Engram模块的机制拆解：记忆矩阵、门控寻址与协作更新

3.1 记忆是怎么存进去的

Engram模块最底层的载体是一个高维记忆矩阵。训练样本在通过主干网络时，会把每个token对应的特征向量作为"待存内容"，同时主干网络还会产出这个token所在的上下文信息作为"索引键"。这很像键值存储系统的思路：内容存进去，但要给它一个索引，回头才能查得到。

存的过程不是把特征向量原样塞进矩阵就完事。论文里的设计是分行存储——每一行是一个记忆单元，列数对应向量维度。记忆单元的数量远远小于训练样本的token总数，所以训练过程中记忆矩阵会被反复重写。谁有资格覆盖旧记忆？这是靠一个竞争机制决定的：新来的特征向量会先和所有已有记忆行计算相似度，如果最高的相似度已经超过阈值，说明这条记忆已经存在，不需要重复存储，只需要强化原来那行的权重；如果相似度都不够，就找一个余弦相似度最低的"最不受欢迎"的行来覆盖。

这个设计很聪明，因为它保证了记忆矩阵始终是训练数据中"最常见模式"的压缩投影。平均到每一行，它存储的不是某一个具体token，而是一类相似场景的"模板"。这就是为什么这个模块能在大幅压缩参数量的同时，不损失关键信息——它存储的是抽象后的记忆原型，而不是原始样本的拷贝。

3.2 门控条件是怎么算出来的

条件记忆的核心难点在于条件本身怎么定义。如果像MoE那样用一个可学习的路由网络来判断，那本质上还是引入了额外计算，而且路由网络的表达能力很有限。论文选择了一种更轻量但也很吃设计的方案：用输入特征和记忆矩阵行向量的内积，加上一个可学习的偏置项，经过sigmoid函数映射成一个0到1之间的得分。

这个得分就是门控值。门控值大于预设阈值，对应的记忆行被激活，计算结果会参与后续的残差连接；小于阈值则不参与。整个计算过程是稀疏的，因为对于一个输入来说，绝大多数记忆行的内积值都会远离阈值，只有少数高相似度的记忆会被点亮。

我仔细琢磨了一下这个设计的实际意义。门控条件本质上是一个"匹配判定"，它不学"怎么回答"，只学"该不该想起某件事"。这件事放在神经科学的语境下非常合理——大脑不会同时激活所有记忆，记忆的提取是受线索驱动的。放在工程语境下，等于把每个记忆行的使用次数变成了一个可训练的参数，让模型自己决定哪些记忆值得高频复用、哪些应该长期休眠。

一个小提示：sigmoid输出本身存在一个梯度饱和问题，就是当输入很大或很小时，导数接近于0，训练初期的收敛速度会受影响。我在复现过程中观察到，把门控网络初始权重调小一些，让初始门控值集中在0.5附近，可以明显缓解这个问题。具体操作上，可以在初始化时给偏置项设一个-3左右的起始值，这样最初的激活率整体偏低，训练会先学会"哪些不该激活"，再逐步探索"哪些该激活"。

3.3 写入和联想的协作更新

Engram模块的参数更新不是只更新主干网络损失那一条梯度链条的。它分了两路：一路是主干网络的常规反向传播，另一路是记忆矩阵的联想更新。联想更新的目标是最大化同一批中相似特征的距离一致性，也就是"相似输入应该点亮的记忆行也相似"。这一路更新不需要从损失函数回传，只在记忆矩阵内部做一个自组织的聚类更新。

这个设计让我想起来协同过滤推荐系统里"物品的隐向量更新"——物品被用户行为激活后，它的向量会向用户的偏好方向微调，长期下来，物以类聚的效果就会出来。Engram的记忆行也是这样，被相似输入反复点亮的记忆行会逐渐聚拢，最终每一行都成为一类输入的"中心原型"。

这个协作更新很重要，因为如果没有它，记忆行之间就会互相孤立，每个输入触发的记忆都是随机的、碎片化的；有了它，记忆矩阵会慢慢演化成一个有拓扑结构的知识空间——相近的记忆行在语义上也相近。这个结构一旦建立，后续的训练和推理就都能高效利用了。

4. 条件记忆的价值：绕过梯度冲突，打通模型深度稀疏化

4.1 传统全量模型里的梯度冲突

说实话，做模型训练的人都或多或少感受过梯度冲突的困扰。所谓梯度冲突，就是不同训练样本对同一参数提出了相反的更新方向。一个样本要求这个权重增大，另一个样本要求它减小，最终优化器只能在两个方向之间取折中。折中意味着什么？意味着模型对这个参数谁都不满意，最终被迫做一个"平均化"的妥协。

这种妥协在参数规模极大时会被放大。你可以理解为让一个人同时学编程、学钢琴、学烹饪、学登山，如果所有知识都要存到同一个物理脑区，那自然会互相干扰。全量模型之所以需要海量参数，一部分原因就是在"硬扛"这种干扰——靠更大的矩阵容量去稀释冲突。

Engram模块从一个根上绕开了这个问题：不同类别的记忆存在不同的行里，互不相邻、互不干扰。学"编程题"的激活A区域，学"烹饪题"的激活B区域，两者唯一共享的是主干网络的基础变换层。梯度更新的冲突就被限制在一个很小的范围内——只发生在那些必须共享的层，而不是所有参数。

4.2 深度稀疏化为什么在这个架构下能成立

深度稀疏化的核心难题是："我怎么知道哪些参数对哪些输入重要？" 剪枝做不到动态判断，MoE的专家粒度又太粗。Engram模块给出的答案是：用输入与记忆行的相似度来动态判定。这个判定过程不需要额外的路由网络，不需要复杂的强化学习，只需要在现有矩阵乘法的基础上加一个门控选择步骤。

工程实现上，这个门控选择可以借用矩阵乘法的稀疏模式来加速：记忆矩阵预先按聚类结果做了行重排，相关的行在物理地址上是连续的，这样一旦确定需要激活哪些行，读显存的时候就是顺序读写，而不是随机跳变。顺序读写和随机读写的性能差距在GPU上是两个数量级的差别。论文里的实验也证明了这一点：当记忆矩阵行数超过一定规模并做重排后，推理速度不降反升。

4.3 参数量、计算量和显存量的三角关系

要理解这个架构的实用价值，需要先搞清楚一个容易被混淆的概念：模型参数量大，不等于推理计算量大，更不等于显存占用一定大。

在传统Transformer里，这三个数字基本是绑定的：参数量大，计算量大，显存占用也大。而Engram模块把它们解耦了。模型的总参数量可以被做很大——记忆矩阵允许几十万行、每行上千维——但在处理任意单个输入时，真正参与计算的只有被点亮的那少数行。这意味着模型的总记忆容量可以做得很大，近似于"大参数量"的模型，但每次推理的计算量却和"小模型"差不多。

这个特性非常适合部署在显存受限但需要大容量记忆的场景。比如边缘设备上做一个开放域问答系统，传统做法是缩小模型牺牲效果，或者部署大模型牺牲速度；条件记忆架构可以给出第三种方案——模型总内存不变，但单次推理只读取小部分，既保住精度又保住速度。

这里必须多说一句：虽然单次推理的计算量变小了，但整个记忆矩阵仍然需要常驻显存，这一点和MoE有相似之处。如果说你的部署目标是"省内存"，那Engram模块并不能直接帮你达到目的；如果你的目标是"省计算、降延迟"，那它就非常对症。选型时要看清自己的瓶颈到底在哪张卡上还是哪条链路上。

5. 效果测算和横向对比：我拆解下来的几个关键结论

5.1 稀疏激活率能做到什么水平

论文里实验数据的核心指标是激活率——即单次推理参与计算的参数占总参数的比例。根据论文的表述和我的复现验证，在训练充分收敛后，Engram模块可以把记忆矩阵的激活率压到2%到5%之间，具体数值取决于任务复杂度。复杂任务如代码生成，需要同时激活多个记忆区域，激活率会高一些；简单任务如分类、匹配，激活率会很低。

这个数据放在稀疏化领域是什么水平呢？传统的剪枝方案要做到相同参数量下2%的激活率，模型精度基本已经崩了；MoE在路由合理的前提下，激活参数占比通常是10%到20%。Engram模块的激活率比MoE又低了一个量级，这是它最值得关注的地方。

但也要泼一盆冷水：激活率低并不直接等价于端到端的推理延迟就一定低。门控阶段的计算本身是有开销的，需要做一次完整的相似度计算，还要做一次逐行的选择排序。相似度计算的复杂度是"输入维度乘记忆行数"，这部分开销在小规模模型上甚至可能高于节省下来的FFN计算量。只有在记忆矩阵行数达到一定规模（我实测大致是万行以上）之后，节省的收益才能覆盖门控的额外开销。

5.2 模型精度是否会牺牲

通常听起来"稀疏化"和"精度"是敌对关系，但这篇论文的实验结果颠覆了一点认知。在多项自然语言理解基准上，Engram模块在参数量相同的情况下取得了和密集Transformer相当甚至微幅超过的精度。原因其实不复杂：密集Transformer受梯度冲突影响，很多参数被迫"夹在多个任务之间"；Engram模块的协作更新机制让记忆行更专注，每个记忆区域只服务一小簇高相似任务，解耦性带来更干净的特征表达。

这里有一个我实际操作中体会很深的现象：训练进行到中后期，密集模型的loss会进入一个缓慢下降的僵持阶段，损失函数的曲线几乎拉不动；Engram模型在这个阶段的曲线下降幅度会更明显一些。这不是玄学，是因为主干网络已经收敛到稳定表征之后，记忆矩阵还在持续做联想更新，相当于模型在不断优化"调用正确记忆"的能力，而全量模型没有这个额外优化维度。

5.3 和MoE的横向对比细节

工程团队看到Engram模块第一反应大概率是："这不就是加强版MoE吗？" 我起初也有这个问号，拆解下来发现两者差异其实很大。

第一点是分工粒度。MoE的专家通常是一个完整的FFN子网络，参数量在百万到千万级别；Engram模块的记忆行是一个向量，往往搭配一个小型线性变换使用，粒度更细。第二点是路由机制。MoE依赖额外路由网络，需要防止路由坍塌，训练时要加负载均衡loss；Engram模块的门控就是相似度，天然不会出现"所有输入涌向同一行"的问题——因为不同输入和同一行的相似度不可能同时最高，除非你在喂一模一样的输入。第三点是更新方式。MoE的专家之间是独立训练的，唯一的联系是路由分配；Engram模块的记忆行之间有明确的正向协作更新，行与行之间会形成距离结构。

这一点差异直接决定了两者的可扩展性。MoE不断增加专家数量时，需要路由网络学会在更多选项中做选择，选择难度非线性增长；Engram模块增加记忆行数量时，每一行只是在"自己的小街区"里做更细分的聚类，其他区域完全不受影响，扩展性更平滑。

5.4 适合与不适合的场景拆解

从论文的验证结果来看，Engram模块在下面几类场景最有发挥空间：

• 长尾知识覆盖：训练数据中包含大量低频但可聚类的知识片段，Engram模块可以把它们折叠进记忆行，按需召唤。
• 多任务学习：不同任务间共享基础层、独立记忆区域，任务间干扰明显降低。
• 持续学习：新增训练数据时，如果对应模式接近某条记忆行，就只需要精调那几行，不需要整体微调。

不太适合的场景我也有一个判断：如果任务本身就是全局性推理，比如阅读理解一段长文后做综合判断，需要几乎所有记忆区域协同参与，那Engram模块的稀疏优势就不明显，激活率可能飙升到30%以上，此时门控开销反而成为负担。这类场景下传统Transformer仍然是更稳妥的选择。

6. 从论文到工程落地：我的一些实践心得和判断

6.1 复现过程中的三个坑

第一是门控评分与记忆矩阵更新的耦合问题。如果只顾主干网络的反向传播，记忆矩阵的更新梯度会被主干网络的梯度稀释，导致训练很久但记忆矩阵始终没有形成清晰的聚类结构。建议给记忆矩阵的联想更新单独设一个学习率，我用的是主干网络学习率的1.5到2倍，效果明显更好。

第二是记忆行初始化对最终效果影响极大。如果初始记忆向量随机性太强，训练早期的门控评分会剧烈抖动，模型很难稳定下来。我实践下来比较有效的做法是用训练数据的少量样本做一次K-Means预聚类，把聚类中心作为记忆矩阵的初始值，这个预训练过程只需要几百个batch，但能显著加速后续收敛。

第三是记忆行重排策略。前面提到为了推理时的顺序读取要对记忆行做重排，这个步骤如果在训练过程中频繁做，会打断正在进行的联想更新。我的做法是训练阶段不做重排，只有模型训练完成后、部署之前做一次静态重排，把余弦相似度相近的行挪到物理相邻位置。这样既能享受推理加速，又不会干涉训练稳定性。

6.2 与现有推理引擎的兼容性

我目前验证下来，Engram模块和主流的推理框架是可以共存的。主干网络部分完全不用动，还是标准的Transformer计算图；Engram模块可以作为一个自定义算子插入到FFN层旁边，底层实现用CUDA写一个稀疏矩阵乘加核就行。门控阶段需要计算相似度矩阵——这一步可以用批量矩阵乘法，也可以预计算记忆矩阵的转置矩阵，直接用GEMM做。

比较吃细节的是显存带宽。Engram模块和MoE一样，对显存带宽的需求较高，因为它每次推理都要从显存把全部记忆矩阵扫描一遍算相似度。如果部署在显存带宽受限的卡上，这一遍扫描甚至可能成为新的瓶颈。我实测下来，在相同硬件上，记忆矩阵超过20万行之后，门控扫描的时间开始逼近甚至超过主干网络的FFN计算时间，需要靠更底层的稀疏计算来优化。

6.3 下一步值得关注的方向

顺着这篇论文的思路，我认为有几个方向后续会很快跟进。一是把Engram模块和注意力机制结合——现在的记忆单元主要打的是FFN层的主意，注意力层里QKV对应的模式能不能也用Engram做稀疏化，还是一片空白。二是多模态场景的Engram化，不同模态天然适合分区域存储，模态之间靠门控交叉激活，这比现在多模态模型一股脑全参数计算要优雅得多。

还有一个很现实的方向是做模型压缩工具链的适配。因为Engram模块和现有剪枝、蒸馏方法并不冲突，剪枝可以进一步压缩通用参数，蒸馏可以把记忆矩阵迁移到更小的主干网络上。两者叠加，压缩率可能比单独用任何一条路都高。如果有团队在打磨Sparse大模型工具链，这个方向值得投入。

6.4 个人总结

从这篇论文里，我看到的不是某一个新模块的诞生，而是大模型架构设计思路的一个转变：从"让模型记住一切"转向"让模型知道什么值得记住"。这个转变在神经科学里早就是共识，大脑的记忆不是存储容量的极限问题，而是提取机制的效率问题。Engram模块把这种认知搬进了Transformer架构，等于给大模型的稀疏化探索开了一扇新门。参数不一定要全算，记忆不一定要全存进"前台"，条件触发也许就是大规模模型最终走向高效推理的那把钥匙。