1. 为什么值得系统梳理DeepSeek系列论文
从2024年下半年开始，DeepSeek这个名字在技术圈出现的频率越来越高。但很多人对它的认知停留在“一个便宜好用的大模型API”或者“又一个国产开源模型”这个层面，实际上DeepSeek团队从2023年成立到现在，在arXiv上积累了一系列相当扎实的技术报告和论文，覆盖了从底层架构优化、训练策略、推理加速到多模态融合的完整技术栈。我花了两周时间把这些论文从最早一直翻到2025年5月，按时间线和主题做了交叉比对，发现它们之间的技术演进脉络非常清晰，不是零散发散的，而是一条有明确主线的研究路径。
这份汇总适合三类人：一是想深入理解大模型底层原理但被各种碎片化解读搞晕的工程师；二是需要在自己的项目里做技术选型、想知道DeepSeek到底在哪些环节做了差异化设计的架构师；三是正在写论文或者做科研、需要引用DeepSeek技术方案作为baseline的研究生。我会把每篇论文的核心贡献、关键技术点、以及我个人在复现和阅读过程中觉得值得注意的地方都讲清楚，不堆砌公式，但也不回避必要的技术细节。
需要提前说明的是，DeepSeek的论文有一个共同特点：工程导向极强。他们很少为了发论文而发论文，每一篇基本都对应着实际训练或推理中遇到的真实瓶颈。所以读这些论文的时候，如果你带着“他们为什么要这么做”的问题去读，会比单纯看结论收获大得多。
2. DeepSeek系列论文的整体脉络与阶段划分
2.1 从DeepSeek LLM到DeepSeek-V3的主线演进
如果把DeepSeek的论文按时间排开，大致可以分成三个阶段。第一个阶段是2023年底到2024年中，核心任务是“把基础模型做出来并且做到有竞争力”，代表工作是DeepSeek LLM 67B和DeepSeek-V2。第二个阶段是2024年下半年，重点转向“把推理成本打下来同时保持性能”，DeepSeek-V2的MLA注意力机制和DeepSeek-Coder系列是这一阶段的标志性成果。第三个阶段是2024年底到2025年5月，DeepSeek-V3和R1系列把训练效率推到了一个新高度，同时开始系统性地输出训练基础设施层面的技术细节，比如FP8混合精度训练、多token预测等。
这个阶段划分不是人为硬切的，而是从论文里能明显看到团队关注点的转移。早期论文里大量篇幅在讲数据配比、评测结果，到后面越来越侧重训练框架、并行策略、通信优化这些底层工程问题。这个转变本身就说明DeepSeek在工程化能力上的积累速度非常快。
2.2 核心论文清单与主题分类
为了让大家有一个全局视角，我先把主要论文按主题列出来。需要说明的是，DeepSeek有些技术点是在技术报告里详细展开的，有些是在独立论文里深入分析的，这里统一按主题归类。
| 主题方向 | 代表论文/报告 | 核心关键词 |
|---|---|---|
| 基础语言模型 | DeepSeek LLM 67B | 数据配比、缩放定律 |
| 高效推理架构 | DeepSeek-V2 | MLA、DeepSeekMoE |
| 代码生成 | DeepSeek-Coder系列 | 仓库级代码、填空任务 |
| 数学推理 | DeepSeek-Math | GRPO、过程奖励 |
| 多模态 | DeepSeek-VL | 混合视觉编码器 |
| 训练基础设施 | DeepSeek-V3技术报告 | FP8训练、多token预测 |
| 推理增强 | DeepSeek-R1系列 | 强化学习、冷启动 |
| 模型压缩 | DeepSeek-V2-Lite | 稀疏激活、知识蒸馏 |
这张表不是简单的罗列，每一行背后都对应着至少一篇值得精读的论文。接下来我会挑其中技术密度最高、对实际工作最有参考价值的几篇展开讲。
3. 核心论文深度拆解与技术要点
3.1 DeepSeek-V2的MLA注意力机制到底省在哪里
DeepSeek-V2是2024年5月发布的，当时最让人关注的就是MLA（Multi-head Latent Attention）这个设计。传统的多头注意力在推理时KV Cache会随着序列长度线性增长，这是推理成本的大头。MLA的思路是把Key和Value投影到一个低维的潜在空间里，推理时只缓存这个压缩后的潜在向量，需要的时候再投影回去。
具体来说，假设原始KV的维度是d，MLA把它压缩到d_c，通常d_c远小于d。在推理阶段，KV Cache的大小就从原来的2×n×d变成了n×d_c，其中n是序列长度。这个压缩比在DeepSeek-V2里做到了什么程度呢，根据论文里的数据，KV Cache减少了大约93%。这意味着同样的显存可以支持更长的上下文或者更大的batch size。
但这里有一个容易被忽略的细节：MLA并不是简单地做低秩分解。它在训练时和推理时的计算路径是不一样的。训练时为了保持表达能力，会走完整的投影路径；推理时才切换到压缩缓存模式。这种训练-推理不一致的设计需要非常小心的工程实现，否则会出现精度损失。我在复现的时候发现，如果直接把训练好的权重拿来做压缩推理，不做额外的校准，困惑度会有明显上升。DeepSeek的论文里提到了他们做了一些权重吸收的操作，把投影矩阵合并到其他线性层里，这个技巧在实际部署时非常关键。
注意：MLA的压缩维度d_c是一个需要根据实际场景调的超参数。论文里给出的配置是针对他们的模型规模优化的，如果你在自己的模型上套用，需要重新做消融实验。我试过在7B规模的模型上直接用他们的比例，效果并不理想，后来把压缩比调低了一些才恢复正常。
3.2 DeepSeekMoE的细粒度专家拆分策略
MoE（混合专家）不是DeepSeek首创的，但DeepSeekMoE在专家粒度和路由策略上做了很有意义的改进。传统MoE通常是把FFN层拆成若干个大的专家，每个token激活其中一两个。DeepSeekMoE的做法是把专家拆得更细，同时增加激活的专家数量。比如原来激活2个专家，每个专家参数量是P，现在激活8个专家，每个专家参数量是P/4，总激活参数量不变，但组合的灵活性大大增加。
这个思路背后的直觉是：细粒度专家能更好地捕捉不同token之间的细微差异。粗粒度专家容易导致“一个专家包打天下”的情况，而细粒度专家可以让不同的专家专注于更具体的模式。论文里的实验也支持这个结论，在相同激活参数量下，细粒度MoE的困惑度明显更低。
但细粒度也带来了新的问题：路由网络的训练难度增加了。专家越多，路由决策的空间越大，容易出现负载不均衡。DeepSeekMoE用了辅助损失来鼓励负载均衡，同时还有一个“专家容量”的约束，防止某个专家被过度使用。这些工程细节在论文的附录里有比较详细的描述，建议做MoE相关工作的同学仔细看附录部分。
3.3 DeepSeek-V3的FP8混合精度训练实践
DeepSeek-V3的技术报告在2024年底发布后引起了很大讨论，其中一个核心亮点是FP8混合精度训练。在此之前，大规模模型训练基本是BF16为主，FP8虽然理论上有更高的计算吞吐和更低的显存占用，但精度损失让很多人望而却步。DeepSeek-V3的做法是在大部分矩阵乘法中使用FP8，但在关键环节保留BF16或FP32。
具体来说，他们用了细粒度的量化策略：对每个矩阵乘法的输入做分块量化，而不是整个张量用一个缩放因子。这样能更好地适应数据分布的变化。同时，在反向传播和优化器更新时，仍然使用高精度。论文里给出了详细的量化误差分析，证明在合理的分块粒度下，FP8训练的精度损失可以控制在可接受范围内。
我在实际测试中发现，FP8训练对硬件有比较明确的要求。不是所有支持FP8的GPU都能达到论文里的效果，有些卡虽然标称支持FP8，但实际吞吐提升有限。另外，FP8训练的稳定性对超参数比较敏感，学习率需要比BF16训练调得更保守一些。这些在论文里没有展开讲，但实际做的时候很容易踩坑。
3.4 DeepSeek-R1的强化学习训练框架
DeepSeek-R1系列是2025年初的重头戏，核心是用强化学习来提升模型的推理能力。和传统的RLHF不同，R1的训练更侧重于让模型自己探索解题路径，而不是单纯对齐人类偏好。论文里提到的GRPO（Group Relative Policy Optimization）是一个值得关注的技术点。
GRPO的核心思想是在一组采样结果内部做相对比较，而不是依赖一个独立的价值网络。这样做的好处是省掉了价值网络的训练开销，同时避免了价值估计不准带来的偏差。具体实现上，对同一个问题采样多个回答，然后根据答案的正确性给每个回答一个奖励，再用这组奖励的均值和方差来做归一化，计算出优势函数。
这个方法的工程实现比PPO简单不少，但有一个需要注意的地方：采样数量不能太少，否则组内方差估计不准，训练会不稳定。论文里建议每个问题至少采样8个回答，实际用下来我觉得16个更稳妥。另外，奖励函数的设计非常关键，R1用的是基于规则的正确性判断加上格式奖励，这个设计在数学和代码任务上效果很好，但迁移到开放式生成任务时就需要重新设计奖励。
4. 论文阅读与复现的实操方法
4.1 如何高效阅读DeepSeek的技术报告
DeepSeek的论文有一个特点：正文往往比较精炼，大量细节放在附录里。所以读的时候不能只看正文就完事。我的习惯是先把正文的摘要、引言和结论快速过一遍，搞清楚这篇论文要解决什么问题、核心方法是什么、效果如何。然后带着问题去读方法部分，最后一定要翻附录，里面通常有超参数配置、数据配比、消融实验这些真正有用的信息。
另外，DeepSeek的论文里经常会有一些“轻描淡写”但实际很重要的细节。比如在讲训练稳定性的时候，可能一句话带过“我们用了某种梯度裁剪策略”，但这个策略的具体参数和触发条件可能决定了训练能不能跑通。遇到这种地方，我会去GitHub上找对应的开源实现，对照代码来理解。
4.2 复现过程中的环境配置与常见坑
复现DeepSeek的论文，环境配置是第一道坎。以DeepSeek-V2的MLA为例，如果你用的是HuggingFace的transformers库，需要确认版本是否支持MLA的实现。早期版本的transformers里没有MLA的官方实现，需要自己改attention模块。后来官方合并了相关PR，但不同版本之间的行为可能有差异。
另一个常见的坑是并行策略的配置。DeepSeek的模型规模比较大，单卡基本跑不动，需要用到张量并行和流水线并行。论文里提到的并行配置是针对他们自己的集群优化的，直接搬到自己的环境里可能因为网络拓扑不同而效率大打折扣。我的建议是先用小规模模型验证算法逻辑，确认无误后再上大规模并行。
| 常见问题 | 排查思路 | 解决方法 |
|---|---|---|
| 训练loss突然飙升 | 检查梯度范数、学习率 | 降低学习率、增加梯度裁剪 |
| 推理速度不达预期 | 检查KV Cache是否生效 | 确认MLA压缩路径正确启用 |
| MoE负载不均衡 | 查看专家激活分布 | 调整辅助损失权重 |
| FP8训练精度下降 | 对比BF16 baseline | 缩小量化分块粒度 |
| 多卡通信瓶颈 | 检查并行策略配置 | 调整张量并行和流水线并行比例 |
4.3 从论文到代码：关键模块的实现要点
以MLA为例，核心实现难点在于训练和推理路径的切换。训练时，Query、Key、Value都走完整的投影；推理时，Key和Value只缓存压缩后的潜在向量。这个切换需要在模型定义里显式处理，不能指望框架自动完成。
另一个容易出问题的地方是权重初始化。DeepSeek的论文里提到他们用了特定的初始化策略来保证训练初期的稳定性，但具体参数没有完全公开。我在复现时试过几种常见的初始化方法，发现对最终效果确实有影响，尤其是在深层模型上。后来参考了开源实现里的做法，才把训练稳定性调好。
5. 常见问题与排查技巧实录
5.1 论文理解层面的典型困惑
很多人读DeepSeek论文时最大的困惑是：公式太多，不知道哪些是核心，哪些是细节。我的经验是，先抓住每个模块的输入输出和计算流程，公式只是描述这个流程的工具。比如MLA，你只需要知道它把KV压缩了、推理时省显存、训练时保持精度，具体公式可以在需要实现的时候再细看。
另一个常见困惑是论文里的实验设置和实际场景的差距。DeepSeek的论文通常是在大规模集群上做的实验，数据量和算力都不是个人能比的。所以读的时候要区分哪些结论是规模无关的（比如架构设计），哪些是规模相关的（比如具体的超参数）。架构层面的创新通常可以迁移，但超参数需要根据自己的场景重新调。
5.2 实际部署中的性能调优经验
部署DeepSeek模型时，推理框架的选择很重要。vLLM和SGLang是目前比较常用的两个选择，对MLA的支持程度不一样。我实测下来，vLLM对MLA的支持比较成熟，但需要确认版本；SGLang在某些场景下吞吐更高，但配置稍微复杂一些。
批处理策略对性能影响很大。MLA省显存的效果在长序列场景下最明显，所以如果你的应用场景是长文本处理，收益会很大。但如果都是短序列，MLA的压缩收益就没那么突出，反而可能因为额外的投影计算增加一点开销。这个需要根据实际请求的序列长度分布来权衡。
提示：在做性能测试时，一定要用真实的请求分布，不要只用固定长度的合成数据。我见过有人用128长度的合成请求测出来吞吐很高，上线后发现实际请求平均长度是512，性能直接打对折。
5.3 训练稳定性问题的排查清单
训练DeepSeek架构的模型时，稳定性问题主要集中在几个地方。一是MoE的路由塌缩，表现为少数专家承担了大部分token，其他专家几乎不被激活。排查方法是定期打印专家激活分布，如果发现熵持续下降，就需要调整辅助损失的权重。二是FP8训练的数值溢出，表现为loss突然变成NaN。排查方法是检查量化缩放因子是否合理，必要时对某些层回退到BF16。
三是长序列训练时的显存碎片问题。DeepSeek的模型支持长上下文，但训练时的激活值占用很大，容易导致显存碎片化。解决方法包括使用梯度检查点、调整micro batch size、以及使用显存池化技术。这些在论文里不会详细讲，但实际训练时几乎一定会遇到。
6. 这些论文对实际工作的启发
6.1 架构设计上的取舍逻辑
DeepSeek的论文给我最大的启发是：好的架构设计不是堆砌最新技术，而是在约束条件下做合理的取舍。MLA牺牲了一点训练时的计算效率，换来了推理时的大幅显存节省；MoE增加了路由的复杂性，换来了参数效率的提升；FP8训练增加了工程难度，换来了吞吐和显存的双重收益。每一个选择都有明确的代价和收益，关键是想清楚自己的场景里什么最重要。
这个思路在实际工作中非常有用。比如你在做端侧部署，那推理效率和显存占用就是第一优先级，MLA和MoE的设计思路就很有参考价值。如果你在做训练效率优化，那FP8和多token预测的策略就更值得研究。
6.2 工程与研究的平衡之道
DeepSeek的论文还有一个特点：工程细节和研究创新并重。他们不会为了追求新颖性而忽略工程可行性，也不会因为工程上麻烦就放弃一个有价值的想法。这种平衡在R1的强化学习框架里体现得特别明显。GRPO在理论上不是最优雅的，但它在工程上比PPO简单很多，而且效果不差，这就是一个很好的工程取舍。
我自己在做项目时也经常面临类似的抉择。一个方案在论文里看起来很美，但实现起来需要大量工程投入，这时候就需要判断这个投入是否值得。DeepSeek的做法是：先在小规模上验证核心想法，确认有效后再投入工程资源做大规模实现。这个流程值得借鉴。
6.3 后续值得关注的方向
从2025年5月这个时间点往后看，DeepSeek的技术路线还有几个值得关注的方向。一是多模态能力的进一步整合，DeepSeek-VL目前还比较初步，后续可能会有更深入的视觉-语言联合训练方案。二是推理效率的持续优化，MLA之后可能还会有新的注意力变体。三是强化学习在更广泛任务上的应用，R1目前主要在数学和代码上验证，后续可能会扩展到更多领域。
另外，DeepSeek在训练基础设施上的积累也值得持续关注。FP8训练、多token预测这些技术目前还主要在DeepSeek自己的模型上验证，如果能在更多开源模型上复现，对整个社区的价值会更大。
我个人在实际阅读和复现这些论文的过程中，最大的体会是：不要孤立地看某一篇论文，要把它们放在一起看演进脉络。DeepSeek的每一篇论文基本都在解决前一篇暴露出来的问题，或者是在前一篇的基础上做延伸。比如V2的MLA解决了推理成本问题，V3的FP8训练解决了训练效率问题，R1的强化学习解决了推理能力问题。这条线索串起来看，比单独读任何一篇都更有收获。
