大模型发展史全解读：从Transformer到多模态智能体的技术脉络与工程实践

我最近把散落在各处的学习笔记重新翻出来，准备用一篇长文把大模型这条线的来龙去脉串一遍。起因很简单：有朋友问我，现在到处都在说大模型、LLM、多模态、智能体，这些东西到底是哪来的？我发现自己虽然能随口说出几个模型名字，但真要把发展史讲清楚，还是得回到笔记里重新捋。这篇东西就是那轮整理的产物，它不追求成为教科书，更多是站在一个实践者角度，记录我认为重要的关键节点、背后的推力，以及我栽过的跟头。适合刚接触大模型的开发者、想建立整体认知的产品和技术同学，还有那些被各种热词轰炸却还没理清线索的人。

整条发展史在我脑子里其实不是一条直线，而更像一棵树：底层是语言模型的老问题，中间几根主干分别长出了 Transformer、预训练、Scaling Law、对齐和 Agent。后面我会按这几条线索展开，章节里会混着技术原理、历史背景和个人经验，读起来会比较像一份“会持续迭代的笔记”，而不是一篇结论式教材。

1. 从“数单词”到“看上下文”：大模型史前阶段的三座陡坡

1.1 n-gram 与数据稀疏：第一座叫“组合爆炸”的墙

在 Transformer 出现之前，语言模型的核心任务是估计一个句子出现的概率 P(w1, w2, ..., wn)。最朴素的做法是拆成条件概率连乘，再用 n-gram 近似：只看前面 n-1 个词，比如 trigram 就是 P(wi | wi-2, wi-1)。这个思路听起来很合理，但一旦把 n 稍微调大，问题就来了：语料里几乎所有长一点的词组都只出现一次，甚至一次都不出现。假设词表有 5 万词，trigram 组合数量是 5 万的立方量级，任何语料都覆盖不了。学术界管这叫数据稀疏。

我刚开始学的时候，觉得 n-gram 好像挺聪明的，直到自己动手统计一个小型语料才发现，trigram 里能命中的比例低得惊人。为了对付稀疏，当年有一大堆平滑算法，比如 Good-Turing、Kneser-Ney，本质都是把没见过的概率匀一点出来。但这些修修补补都在同一个框架里打转：模型记的是“词串出现的次数”，而不是“词背后的意义”。这就导致 n 一大，计算量和稀疏度一起爆炸，语言模型始终停留在很浅的局部模式上。这是我理解中第一座必须翻越的墙：组合爆炸。

1.2 神经网络语言模型与词向量：从符号空间走进连续空间

转折点在 2003 年 Bengio 那篇《A Neural Probabilistic Language Model》。这篇论文做的事其实很朴素：用神经网络去建模前 n 个词的联合概率，同时在训练过程中把每个词映射成一个低维稠密向量。这个向量后来被叫做词向量或 embedding。关键不是那层网络本身，而是“连续空间”这个念头：以前词和词之间是离散符号，“猫”和“狗”除了都有一个汉字外没有任何关系；进了向量空间之后，语义相近的词会落在附近。

我当时看完最大的震撼在于：模型不是为了表示词义才去学 embedding 的，它只是为了把概率算得更准，顺手把词的分布特征榨了出来。这就是表示学习最经典的味道：目标是任务的副产品，却成为后续一切上层建筑的地基。后面无论模型做多大、参数做多密，输入侧第一层仍然是把 token 转成 embedding。大模型真正继承的不是 2003 年的网络结构，而是“用连续向量表示离散语言单位”这个底层世界观。

1.3 RNN/LSTM 的遗产：顺序计算与注意力雏形

再把时间拨到 2014 年之后，RNN、LSTM、GRU 开始统治序列建模。LSTM 通过门控机制在一定程度上缓解了梯度消失，可以记住比较长的信息。但它的致命弱点是顺序计算：当前时刻的隐状态依赖上一时刻的输出，GPU 就算有几千个核心，也没法把一个句子里的词并行处理。要训练更深的网络、更长的序列，只能在一个时间步接一个时间步地推，效率非常低。

还有一个隐蔽问题：RNN/LSTM 的“记忆”是压缩式的。无论前面读了多长，最终都得压进一个固定长度的向量里，再从这个向量解出后面所有内容。长距离信息经过多次非线性变换后基本被磨损光了。于是 2015 年前后，机器翻译里出现了注意力机制（Bahdanau 等工作）：解码时不再只盯着那一个压缩向量，而是每一步都回过头去，在编码器输出的所有位置上做一个加权求和。加权权重就是“现在应该看哪里”的意图。这个设计一开始只是辅助，但它提出了一个非常重要的范式：信息不必全部塞进状态里，可以保留一个外部记忆，按需检索。后来 Transformer 做的事情，本质上是把这个辅助机制捧成绝对主角。

个人笔记：学大模型千万别跳过 RNN/注意力雏形这一环。很多人直接读 Transformer 论文会以为 Q/K/V 是天上掉下来的，其实它就是从“按需加权”这个直觉一步步长出来的。

2. Transformer 凭什么笑到最后：一个架构选择背后的四个理由

2.1 self-attention 的“全员检索”设计：长依赖被一步拉直

2017 年《Attention Is All You Need》把注意力机制直接变成了整个网络的主干。每一个 token 都生成三个向量：Query、Key、Value。Query 相当于“我想找什么”，Key 相当于“我是谁”，Value 相当于“我携带的内容”。句子里的每个 token 同时当检索者和被检索者，用 Query 去和所有 Key 做点乘得到分数，再 softmax 成权重，最后对所有的 Value 加权求和。用一句话概括：全员互相检索，一步直达。

这跟 RNN 最大的区别是路径长度。在 RNN 里，第 100 个词要影响第 1 个词，信息需要沿着时间步走 99 步，哪怕 LSTM 有门控，也经不起这么折腾。而在 self-attention 里，任何两个位置之间都只有一跳，无论句子长度是多少，信息路径长度始终是 1。这就是为什么它能捕捉长程依赖。理解这一点后，你会明白 transformer 的强项不是“记忆好”，而是“被检索的效率高”。

2.2 并行计算与规模友好：GPU 时代的第一性原理

Transformer 第二个容易被低估的理由是并行度。self-attention 对整句话的所有 token 可以同时做矩阵乘法，位置的先后只是通过 position encoding 加到向量里，不参与计算依赖。于是同一句话可以在 GPU 上打成一个大矩阵一次算完。这让 Transformer 成为第一个“规模友好”的架构：数据越多、GPU 越多，它的训练吞吐量越大，而 RNN 却因为串行很难吃下更多算力。

当时我做过一个对比实验，用同一批数据分别搭 LSTM 和 Transformer 的 base 模型，在同样数量级参数下，Transformer 在 GPU 上的训练速度明显更快。更关键的是，只有并行化程度足够高，后续做上万亿参数的预训练才成为可能。这是工业界选择 Transformer 的一个很实际的原因，而不是什么“理论美感”。

2.3 预训练路线的分裂与统一：GPT 与 BERT 的分岔口

2018 年出现了两条路线。GPT 用 Transformer 的 decoder 部分，做自回归语言模型：给前文，预测下一个词，训练目标单一；BERT 用 encoder 部分，做掩码语言模型：随机盖住一些 token，让模型根据上下文猜，目标偏“理解”。前者天生适合生成，后者在当年一堆理解类任务（如分类、抽取）上屠榜。很多初学者只知道 GPT 一路高歌，却不知道 BERT 曾经在相当长一段时间里霸占着榜单，以至于工业界预训练微调范式几乎被 BERT 路线定义了。

我重新读两者的对比后，总结出的本质区别是：GPT 训练时看的只是左侧上下文，所以做生成非常自然；BERT 同时看左右两侧，确实能拿到更多信息，但它不是一个概率化的生成模型。后来 ChatGPT 火爆之后，许多人回过头去研究“为什么不是 BERT 变成了聊天助手”，答案也在这里：聊天本质上是语言生成，decoder-only 的自回归目标与对话任务最匹配。

2.4 decoder-only 成为主线：为什么生成目标反而更通用

随着 GPT-3 展现出 few-shot 能力，越来越多实验发现，decoder-only 模型在下游任务上并不输给 encoder 或 encoder-decoder，而且结构更简单：输入输出都是同一种 token 序列，训练和推理共用一套代码。相反，BERT 风格的模型在需要“把整段文本压成一个表示”的场景里好用，但一旦要自由生成文本、调用工具、做多轮对话，就有点束手束脚。于是大模型时代走向了“少就是多”：简化结构，统一任务为 next-token prediction，把能力留给数据和规模去涌现。

这里要补一个我的教训：早期我也觉得“BERT 理解强，GPT 生成强，那就用 encoder-decoder 两全其美”，实际在 T5 上折腾后才发现，结构越复杂，训练目标越多，调参和部署的边际成本越高。大模型的演进方向里很重要的一条就是“把复杂度从模型搬到数据和训练范式中”。这也是后来很多人说的：大力出奇迹，但前提是架构足够简洁，能被大力推动。

3. 参数、数据、算力的三角平衡：Scaling Law 如何塑造大模型的今天

3.1 三条幂律曲线：模型不是想多大就多大

2020 年 OpenAI 的 Scaling Laws 论文给出了一系列经验性的幂律关系：在合理的训练范围内，语言模型的损失和模型参数量、训练数据量、计算量之间都呈现出近似对数线性的下降趋势。换句话说，当你把模型扩大 10 倍但数据不变，损失一开始会降，然后迅速进入平台期；必须同步扩大数据和算力，才能继续压损。这个结论带来的行业影响非常大：它让“千亿参数”“万亿 token”不再是为了炫耀，而是一套有依据的资源配比游戏。

我在自己的小规模实验里也验证过这种感觉：把一个小模型反复增大参数量，但训练数据只有几百万条，结果过拟合得很厉害。很多人看到 7B、13B 模型在跑分表上差距大，会简单归因于“参数越多越强”，实际上数据质量、训练时长、学习率调度都同样重要。Scaling Law 给我的真正启发是：做模型不是堆参数，而是要确保参数、数据、算力三者同步增长，像一个三角形的三条边。

3.2 MoE 与稀疏激活：用“分头行动”绕过算力瓶颈

参数规模到了一定程度，稠密模型每次推理都要激活全部参数，成本高得吓人。于是出现了混合专家模型（MoE）：把原来一整块 FFN 换成多个并行的专家网络，由一个 router 学习“当前 token 该交给哪些专家”，通常只激活 top-2 或 top-1。这样一来，总参数量非常大，但每次推理激活的参数量远小于总量，相当于用“存储上的大”换“计算上的小”。

我最早被 MoE 吸引是因为 DeepSeek-V3 这类模型，总参数量 671B，但每个 token 只激活约 37B 参数，推理成本接近一个 40B 左右的稠密模型，效果却接近更大的稠密模型。当然 MoE 不是没有代价：显存占用仍与总参数相关，需要张量并行；router 的训练稳定性也一直是工程难点。但从发展史看，MoE 是大模型解决“更大更强”与“算力有限”这对矛盾的一条重要路径，后面只会越来越多见。

3.3 模型规模的公开脉络：一张表看尽参数演进

整理学习笔记时，我习惯把关键模型列成一张对照表，便于记住脉络。

如果只让我保留三行，我会选 2018 的 GPT-1/BERT、2020 的 GPT-3、以及 2022 的 ChatGPT。前两个定义了技术范式，第三个定义了产品形态。后面这些模型虽然数字更大，但基本是在这几根柱子上做增量。

3.4 开源权重与闭源服务的双螺旋：生态如何被重塑

GPT-3 刚出时，普通开发者只能通过 API 使用，模型权重不开放。这也催生了后来很强烈的开源运动。Meta 的 Llama 系列开了一个大口子，让高校、研究机构和中小公司都能基于开源权重做二次开发；之后又出现了 Alpaca、Vicuna 等微调方法，用很低的成本就能复现指令微调效果。这段时间我亲身体会最大的是一个局面：闭源 API 负责“能力上限”，开源权重负责“场景定制和数据安全”，双方互相借鉴，整体生态被快速拉起来。

最近热词里总出现“免费大模型 API”“本地部署大模型”，其实背后就是这条双螺旋：开源权重降低门槛，服务商又通过 API 把大模型变成一种自来水。作为开发者，我的建议是不要把开源闭源当成信仰，而是按数据敏感度、成本预算和效果需求来做选择题。发展史也证明，这两条路不是竞争，而是在彼此成就。

4. 能力边界的三次外推：微调、对齐、多模态与智能体

4.1 从“预测下一个词”到“听懂指令”：RLHF 为什么是分水岭

严格说，GPT-3 只是“很会接话”，但用户问它问题，它不一定按人的意图回答。2022 年的 InstructGPT 通过三步走改变了大模型的能力边界：第一步，用人工标注的指令数据做监督微调；第二步，让模型生成多个回答，再由人类比较排序，训练一个奖励模型；第三步，用强化学习（PPO）让模型朝着奖励模型的方向优化。这就是 RLHF。它解决的不是“是否知道答案”，而是“是否愿意并知道如何按用户想要的方式回答”。

我到现在依然觉得，RLHF 是大模型发展史里最容易被低估的一环。它把“人类偏好”变成了可优化的目标，而不是靠拍脑袋堆数据。但这套流程代价很高：数据标注贵、训练不稳定、容易让模型变得过于讨好而牺牲事实性。所以后来又有 DPO 这类更轻量的对齐方法，直接通过偏好数据微调模型，不需要训练奖励模型。对齐技术的演进，本身就是大模型从“demo”走向“产品”的核心推动力。

4.2 指令微调与 LoRA/QLoRA：小团队也能改造大模型

在预训练之后，想让模型更贴合某个垂直场景，最常见的手段是指令微调。传统全参微调需要存一份完整优化器状态，7B 模型全参微调在普通单卡上几乎跑不动。LoRA 的做法是把原模型权重冻结，在旁边加两条低秩矩阵，只训练这两条。参数量可能只有原模型的 0.1% 到 1%，显存需求大幅下降。QLoRA 再把底座量化到 4bit，单张 24GB 显卡就能微调 7B/13B 级别的模型。

我自己的实操结论是：LoRA 适合改变模型的表达风格、输出格式、工具调用习惯，但不适合给模型“灌入”大量它本来不知道的新知识。有些人指望微调能让模型学会某个私有知识库，结果基本会失望；知识应该走 RAG 或继续预训练，而不是挂在 LoRA 里。同时微调数据质量比数据量重要太多，几十条高质量样本往往就能带来肉眼可见的变化。这一点我在很多公开数据集上反复体验过。

4.3 上下文长度的军备竞赛：长文本是能力，但不是万能药

GPT-3 时代的上下文长度只有 2048 token，稍微长一点的文章就对不上号。后来 RoPE、ALiBi 这些位置编码方案让模型具备了一定外推能力，FlashAttention 又优化了注意力的显存和速度，各家开始把上下文从 4K 一路推到了 32K、128K，甚至 1M token。这个数字确实有用：能一次性塞进一本书或一份大型代码库。但工程上的真相没有那么浪漫。

我在一个文档问答项目里专门测过长上下文模型，发现把关键信息放在长文档中间位置时，回答准确率明显下降，这被戏称为“lost in the middle”。所以做应用时不能真的把全部内容都丢进 prompt，还是要配合段落切分、检索排序，把关键证据放到上下文的前部或尾部。上下文长度是模型能力的“可用于”，不等于“已掌握”。把它理解为一种缓冲区和包装规格，不要理解成记忆力或智商。

4.4 多模态与 Agent：模型开始同时“看图”和“动手干活”

大模型的另一个重要外推是从纯文本走向多模态。CLIP 先把图像和文本拉到同一个向量空间，GPT-4V 等模型则把视觉 encoder 的输出作为 token 序列喂给语言模型，让模型能看图说话。现在开会的时候，很多人喜欢直接拍一张白板丢给模型让它整理纪要，这就是多模态最实际的使用场景。还会有更多模型把音频、视频、文档结构统一进同一个表示空间，但难点不在网络结构，而在数据配比和对齐训练。

除了多模态，“智能体”也在把大模型从“嘴”变成“手”。Agent 的核心循环是：模型接收任务，调用工具或写代码，观察返回结果，再决定下一步。这个过程中，模型不再是单纯生成文本，而是在做规划、执行、纠错。我在做一个内部小助手时发现，把工具调用定义得越明确、返回结果越结构化，模型的表现越稳定；如果工具返回一堆自由文本，模型很容易迷路。所以 Agent 的本质不是模型变聪明了，而是工程上给模型装了可以反复试错的循环。

5. 我的学习复盘和避坑记录：给同样在啃大模型的人

5.1 我建议的入门顺序：先跑通闭环，再回头补理论

我见过太多人从“背 Transformer 公式”开始，背完 QKV 还是不懂为什么大模型能聊天。如果让我重新学，我的顺序会是：先注册一个商业模型 API 或部署一个小模型，把“输入 prompt、输出内容”的闭环跑通；然后换几个提示词，感受上下文学习、指令遵循、多轮对话；接着在公开榜单上挑两类模型对比；最后再去啃 attention 论文和预训练细节。先看到现象，再寻找解释。

我踩过的坑是反过来的。一开始我花了两周研究位置编码的旋转变换，却没动手跑一个 demo，结果找个朋友演示时，连 API 的 system prompt 都写不顺畅。后来把这个顺序倒过来，学习效率反而高很多。大模型领域更新太快，先建立“能用”的体感，再追求“懂原理”，比从理论往应用推要省力得多。

5.2 容易误判的五个问题：参数、跑分、上下文、量化、微调

这里整理几条我在社区里反复看到的误判，也给一些修正笔记。

• 参数越多越强？不一定。稀疏 MoE 总参数很大，但激活参数和部署成本要看后者；小模型训练充分后也能击败较大的欠训练模型。
• 跑分高就是好用？榜单数据容易被污染，必须拿自己的真实任务去测；往往换一个领域，排名就完全变样。
• 上下文长就什么都记得住？长上下文存在位置偏置，关键信息应放开头/结尾或用 RAG 辅助。
• 一量化就损失严重？4bit 量化在多数场景会有轻微掉点，但配合微调或更高质量的校准数据，让人很难察觉；先跑量化版本，不能拍脑袋拒绝。
• 微调能解决一切需求？微调擅长改变行为风格和指令遵循，不擅长补充新知识；私有知识建议走 RAG，必要时再做持续预训练。

这五条每一条我都能展开写，但它们本质上指向同一个态度：把“别人说”换成“我实测”。大模型是一个经验学科，跑一下比猜一万次都有效。

5.3 本地部署和 API 选型：不同目标的不同答案

结合“本地部署大模型”和“免费 API”这些热词，我给一个基于目标的选型建议。如果你只是尝鲜、做原型验证，商业 API 最省心，尤其是需要追踪最新能力和多模态的场景；如果团队有数据保密要求，或需要反复调用高并发推理，则要用本地部署或私有化服务；如果只是为了学习原理，一台 24GB 显存的机器加 Ollama 或 LM Studio，跑 7B/14B 的量化模型完全够用；如果做具体项目，可以考虑 vLLM 这类推理引擎提升吞吐，再配 FastGPT、Dify 做应用层。

没有一种方案是绝对免费的。本地部署看起来不要按次付费，但硬件折旧、运维、模型微调都是隐性成本。我的建议是：先拿免费或低价的 API 验证产品逻辑，再根据用户量和数据敏感度决定是否迁移到本地。这条路线我走下来比较顺，也算是一种用便宜方式试错的经验。

整理这版笔记时，我最大的体会是：很多看起来突然爆发的概念，其实都有漫长的伏笔。注意力机制在机器翻译里当了很多年配角，next-token prediction 也被当作过于简单的目标，但时间证明，简单且可扩展的设计往往走得最远。如果你也在整理自己的学习资料，我建议边读边写，把每个关键论文发表时间、牵动的后续工作都标出来；这套笔记我会继续迭代，因为发展史还没写完，写笔记的人也只能跟着跑。