如果把大模型的发展史完整读一遍，再回头去看今天的各种大模型教程、测评榜单和API文档，你会发现一个很有意思的事实：很多你以为的“新概念”，其实在十年前甚至二十年前就埋下了种子。这份笔记是我花了一段时间顺着论文、公开资料和实际项目踩坑记录重新梳理出来的大模型发展脉络。主线其实非常清晰：语言模型从统计模型走向神经网络，再从神经网络走向大规模预训练，最后在参数、数据和算力三股力量共同作用下，跨过了“涌现能力”的临界点。
我会尽量用口语化的方式讲清楚每个阶段到底解决了什么问题，同时把我在实际学习、调用API、本地部署和微调过程中遇到的坑一并写出来。这份笔记适合刚入门、想建立完整体系的朋友，也适合已经在用ChatGPT、Qwen、DeepSeek等模型、但一直没时间回头补基础的同学。
1. 从N-gram到注意力机制：大模型的“史前史”
1.1 语言模型到底在做什么
在我最早接触自然语言处理的时候，导师反复强调一句话：“语言模型是一切NLP任务的底层任务。”这句话到现在依然成立。所谓语言模型，简单说就是计算一段文本出现的概率，更实际一点的说，就是给定前文，预测下一个词是什么。比如你看到“今天天气真”，模型会猜下一个词是“好”的概率很高。大模型看起来能写代码、能翻译、能回答问题，本质上做的还是同一件事：一个词一个词地往后预测，只不过它把“理解”这件事通过学习大规模语料学了出来。
这个预测下一个词的目标，表面看简单到不像话，但它有一个巨大的优势：不需要人工标注。互联网上任何一段文本都可以作为训练数据，你只需要把一句话遮住后半段让模型猜。这种“自监督”的特性，决定了只有这个任务能被无限扩大数据规模和模型规模，最终造就了今天的大模型。
1.2 统计模型的问题与神经网络的登场
在神经网络成为主角之前，语言模型的主流做法是N-gram。它的核心假设是马尔可夫假设：当前词只与前N-1个词有关。二元模型看前一个词，三元模型看前两个词。听起来很合理，但致命问题在于数据稀疏。英语词汇量几十万，三元组合的数量是指数级的，很多组合在语料里根本没有出现过，概率直接算成零，整个句子就崩了。后来大家想了很多平滑方法，比如古德-图灵估计、回退平滑，都是缓解稀疏问题，但治标不治本。
真正打开突破口的是2003年Bengio提出的神经网络语言模型（NNLM）。他用一个三层神经网络同时学习词向量和条件概率，发现一个关键好处：相似的词在向量空间里距离近，模型可以通过词向量的相似性来“泛化”。比如训练数据里见过“猫在椅子上”，没见过“狗在椅子上”，但因为“猫”和“狗”的向量相近，模型能推测出“狗在椅子上”也是合理的。这个思想后来被word2vec简化放大，也直接把NLP带入了词向量的时代。
1.3 注意力机制：翻译任务里长出来的“旁支”
紧接着，RNN和LSTM开始统治序列建模。RNN按顺序读入每一个词，把信息压缩到一个隐藏状态里，但长了就丢。LSTM通过门控机制缓解了梯度消失，但本质上还是一个词一个词顺序处理，既慢，又无法真正解决长距离依赖。
2014年Seq2Seq模型被用于机器翻译，编码器把整个源句子压缩成一个固定向量，解码器再从这个向量生成译文。问题是句子一长，信息就塞不下了。2015年Bahdanau等人提出一个在当时看来是“补救”的机制：解码器翻译每个词的时候，返回源句子去“挑重点”，看哪些词最相关，然后对这些词的隐状态做加权求和。这个“挑重点”的操作，就是注意力机制。
有意思的是，这个本来只是给Seq2Seq打补丁的注意力机制，后来被研究者发现威力比循环结构本身还大。这是一个典型的从“修bug”到“重构系统”的演进。等到了2017年，终于有人干脆把循环结构整个扔掉了。
2. Transformer：真正的分水岭
2.1 2017年：一切都从“Attention Is All You Need”开始
2017年，谷歌团队发表了论文《Attention Is All You Need》，提出Transformer架构。当时业界还在普遍用RNN和LSTM做序列任务，这篇论文的主张非常“激进”：序列建模根本不需要循环结构，只需要注意力机制就够了。
我当时读这篇论文的第一感觉是，结构图看起来不复杂，但信息量极大。Transformer由编码器（Encoder）和解码器（Decoder）堆叠而成，每个Block里主要就是多头自注意力（Multi-Head Self-Attention）和前馈网络，外面套残差连接和LayerNorm。它把“并行”这个点发挥到了极致——RNN必须按时间顺序处理，而Transformer矩阵乘法的每一步都可以并行计算，训练速度自然不是一个量级。
如果你没有仔细读过这篇论文，我建议花一个周末把Q、K、V三个矩阵的理解吃透。简单说，Query是“我在找谁”，Key是“我是谁”，Value是“你找到我之后要给我的内容”。注意力就是让每个token去全序列里找跟自己相关的token，然后按相关性加权聚合。这个机制天然擅长捕捉长距离依赖，这也是它能取代LSTM最根本的一点。
2.2 多头注意力和位置编码到底意味着什么
有两个细节我一开始自己看的时候忽略了，后来才意识到它们很关键。
第一个是“多头”。多头注意力不是做一次注意力，而是把Q、K、V拆成多个子空间，单独计算注意力，最后再拼接起来。为什么不只算一次？因为语言里的“相关性”不止一种：可能一个头在学句法关系，一个头在学指代关系，一个头在学语义相似度。多个头相当于多个不同的“视角”，让模型能并行走地捕捉不同类型的关系。
第二个是位置编码。自注意力本身对顺序是“无感”的，你把一句话倒过来，注意力算出的权重一模一样。所以在输入Embedding上必须加上位置信息。Transformer用的是正弦函数位置编码，后来很多模型改成可学习的绝对位置编码，再后来流行RoPE（旋转位置编码）。这一段历史非常值得研究，因为今天的上下文长度突破，很大程度上就是在位置编码上做了大量工程优化。
2.3 为什么Transformer能撑起“大”模型
我们现在说“大模型”，默认就是Transformer——几乎所有主流模型都是它的变体。为什么不是LSTM堆到几千亿参数？
核心原因是并行度。LSTM的隐状态是一步一步往后传的，每一步都依赖上一步的输出，GPU再强也没法并行展开。Transformer每一层的所有token计算相互独立，可以整个矩阵一次性完成，天然适合大规模分布式训练。另一个原因是结构稳定。残差连接让梯度跨层传播不容易消失，LayerNorm让激活值分布保持稳定，这两点保证了把层数从十几层加到几百层，模型还能正常训练。
注意力还有一个潜在优点：理论上任何两个token之间都能直接交互，没有RNN那种距离越远信号越弱的问题。当然代价是注意力矩阵的复杂度是O(n²)，输入越长，计算量涨得越猛。这个复杂度问题后来催生了FlashAttention、稀疏注意力、滑动窗口等一系列优化，也决定了“上下文长度”会成为大模型时代的一个重要指标。
2.4 BERT与GPT：同源家族，不同方向
Transformer发布之后，很快分成了两个流派，这个分化现在看来就是大模型发展史上最重要的分岔路口。
一边是BERT路线，2018年由谷歌提出。BERT使用Transformer的Encoder部分，注意力是双向的，训练任务是“遮住一些词然后还原”，学出来的模型特别适合做理解类任务，比如分类、命名实体识别、问答等等。另一边是GPT路线，OpenAI直接去掉Encoder，只保留Decoder，做自回归语言模型，训练任务就是最简单的“预测下一个词”。当时很多人觉得GPT这种方法不如BERT“聪明”，因为它是单向的，只能看左边。
但事后诸葛地说，GPT路线的优势是致命的：它的训练目标和最终使用场景完全一致。你用它的时候也是让它一个词一个词地生成，而BERT的预训练任务和下游任务之间存在形态差距。再加上Transformer Decoder自回归天然适合生成式任务，后来的事实证明，GPT路线才是通往通用能力的那扇门。2020年GPT-3发布之后，BERT的声音基本就听不到了。
3. 规模、数据、算力：大模型“滚雪球”的底层逻辑
3.1 Scaling Laws到底在说什么
2020年OpenAI发表了关于缩放定律（Scaling Laws）的文章，别被这个名词吓住，它其实是在说一件很朴素的事：模型的性能（损失）和参数规模、数据规模、算力规模之间存在清晰的幂律关系。换句话说，在架构不变的前提下，只要把模型做大、数据喂够、算力跟上，性能提升基本是可以预测的。
我当时第一次看到那张Scaling Laws曲线图的时候，最大的感触不是“原来加大规模有效”，而是“原来这个规律可以被量化”。这意味着模型的下一步发展不再完全靠拍脑袋，而是可以预估：我牺牲多少计算量，大概能换来多少损失下降。
不过要特别强调一点——不是只堆参数就有用。缩放定律同时指出，数据和参数必须同步增长。很多人在早期只盯着“千亿参数”这个数字，忽略了训练数据的token数同样重要。后来DeepMind在2022年提出的Chinchilla论文进一步指出：按现有训练计算量，模型参数和数据量应该大致等比扩大，而不是单方面堆参数。这直接引发了一波“补数据”的军备竞赛，高质量数据的价值从此被抬到了空前的高度。
3.2 预训练与微调的范式确立
大模型时代的第一个完整范式是“预训练+微调”。这个范式在我们今天看来理所当然，但它是2018年BERT时代才真正确立的。
门路是这样的：先用海量无标注文本对模型做预训练，让模型学会语言的知识，比如语法、常识、事实性信息；然后在某个具体任务的小规模标注数据上做微调，让模型适配这个任务的输入输出格式。过去NLP是每个任务单独训练一个模型，从词向量、模型结构到损失函数都要单独设计。预训练范式出现之后，大家都用同一个预训练底座，下游任务只是“轻量调整”。
这个范式带来的直接产业变化是：NLP开始从“项目制”走向“平台制”。你不需要为每个任务洗大量数据重新训练，很多中小企业也能借助一个开源预训练模型完成自己的业务。但它也有局限性：微调仍然需要标注数据，而且每个任务都要单独微调。这个痛点后来被GPT-3用另一种方式解决了。
3.3 GPT-3与上下文学习
2020年GPT-3一出，直接把参数规模推到1750亿。但更颠覆性的不是参数大小，而是它展示了什么是“上下文学习”。你不需要微调模型参数，只需要在提示词里给出几个示例，模型就能照着示例的格式完成任务。甚至有些任务不给示例都能做，也就是零样本学习。
这个能力看起来像是蒸发的，但实际训练中并没有专门设计，而是在大规模预训练过程中自然涌现。模型读过的语料覆盖了大量任务格式，比如翻译、问答、摘要，它把这些格式内化成了模式，预测下一个词的时候就会匹配最合适的模式。上下文学习的意义在于：使用门槛从“会训练模型”降到了“会写提示词”，普通开发者第一次能直接跟模型打交道而不用碰梯度。
当然，GPT-3的生成质量还远谈不上可靠，经常一本正经地输出胡说八道的内容，提示词的写法对效果影响极大。这也顺势催生了提示工程这一整套学问。
3.4 对齐：让模型学会说人话
GPT-3的另一个问题是“不听人话”：让它输出一段有益、诚实、无害的回复，它经常输出偏颇甚至危险的内容。原因很简单，纯预训练的模型只知道预测下一个词，并不知道人类对“好答案”的偏好。这就引出了对齐技术。
InstructGPT和后续ChatGPT使用的核心方法叫RLHF，基于人类反馈的强化学习。流程分三步：先人工写一批指令和答案做监督微调；再让人类对多个模型的回复排序，训练一个奖励模型；最后用强化学习（PPO）优化原模型，让它的输出更符合奖励模型的高分分布。这个流程理解起来有点绕，但可以形象地理解成：先让模型学会模仿人类回答，再让模型学会追求人类更偏爱的答案。
一直到今天，一提到“大模型最大的问题是什么”，我仍然觉得不是能力不够，而是如何让能力可控、可评估、可对齐。RLHF是一个方向，但不是终点。
3.5 开源生态：让更多人能玩上大模型
如果大模型只有闭源API，那么整个技术生态会比现在封闭得多。2023年Meta发布LLaMA之后，局面彻底改变。虽然LLaMA的权重最初是限定研究的，但它很快被开源社区扩散，后续的LLaMA-2、LLaMA-3直接开放权重。国内外的Qwen、DeepSeek、Mistral、Falcon、Baichuan等开源模型也纷纷跟上，形成了一个庞大且活跃的开源模型生态。
开源大模型的意义在于它拉低了实验门槛。你可以把7B、13B的模型下载到一张消费级显卡上，用LoRA微调，跑自己的业务场景。就算你没有显卡，也有很多云平台提供按量计费的开源模型推理服务。这个生态让我身边很多原本只做业务开发的工程师，也开始真正接触模型权重、微调数据集、量化部署这些事情。
4. 能力爆发背后的几个技术支点
4.1 上下文长度意味着什么
这几年大家看模型配置单，第一个关注点可能不是参数，而是上下文长度。从GPT-3时代的2048个token，到后来常见的32K、128K，再到部分模型宣称的1M甚至更多。上下文长度直接决定了模型一次能“看到”多少信息：短了，聊几句就忘了前面说什么；长了，才能把整份合同、整个项目的代码仓库塞进去。
但这背后不只是“改一个参数”的事。Transformer的注意力复杂度是平方级，上下文翻倍，计算量翻四倍。工程上用的办法包括：RoPE旋转位置编码外推、滑动窗口注意力、稀疏注意力、FlashAttention算子优化、甚至分段处理再融合。每一项都是实打实的系统工程。
我特别想说一个容易踩的坑：长上下文不等于长程理解能力。很多模型支持超长上下文，但放到长文本中间位置的信息，未必能有效利用。实测下来，信息出现在开头和结尾时模型表现更好，中间段容易被“遗忘”。所以做RAG等应用时，不要盲目把大量文本一股脑塞进去，还是要做好检索和结构组织。
4.2 微调技术谱系：从全量到LoRA
微调这个词在大模型时代被频繁提及，但它和BERT时代已经不太一样。全量微调在大模型身上非常昂贵，一次训练动辄需要几十张高端显卡。于是低秩微调成了主流，最典型的是LoRA。它在原有权重旁边插入两个小型低秩矩阵，训练时只更新这两个小矩阵，参数量可能只有全量微调的百分之一甚至更低。QLoRA更进一步，把基础模型量化到4位精度，再用LoRA微调，一张24GB的显卡就能微调7B甚至更大的模型。
还有一个值得关注的技术是DPO，直接偏好优化。它跳过了训练奖励模型这一步，直接用偏好数据让模型学会对齐，训练过程稳定很多。最近两年微调的主流已经是“QLoRA+DPO”的组合了。
但要提醒的是，微调不是万能的。它的强项是改变模型的风格、输出格式、领域术语习惯，而不是往里灌新知识。想让模型知道你们公司最新的产品文档，正确做法是RAG；想让模型回复语气更专业、按固定JSON格式输出，才考虑微调。
4.3 多模态：把语音、图像、视频拉进同一套模型
大模型能力爆发的另一个方向是多模态。2021年OpenAI发布CLIP，用图文对比损失把图像和文本映射到同一个向量空间，这给了后来多模态大模型一个坚实底座。之后LLaVA等项目展示了“视觉编码器+语言模型”的接入方式：图像先被编码成视觉特征序列，再拼接进语言模型的输入里。GPT-4V则把这个能力直接产品化，能够理解截图、照片、图表，甚至能看图推理。
2026年前后，多模态大模型的最新进展已经远远不止“看图说话”了。真正原生的多模态模型在训练时就混合了文本、图像、音频、视频数据，而不是简单的数据拼接。应用场景也迅速铺开：自动解析产品设计图、处理仪表盘截图、会议录音转写加摘要、视频关键帧理解等等。如果你要做大模型应用开发，多模态几乎是绕不开的方向。
4.4 RAG与智能体：把“知识”装到模型外面
大模型的知识来源于训练数据，训练完成之后知识就是“冻结”的。要让它读到最新资料、公司内部文档、实时数据，不能重新训练，于是RAG（检索增强生成）成为最可靠的方案。流程是：先把文档切块、做向量化索引，用户提问时先从知识库里召回最相关的片段，再把片段和问题一起交给模型生成答案。好处是知识可更新、可追溯，也大大减少幻觉。
再往上一层是智能体。智能体把大模型当成“大脑”，配合工具调用、任务规划、记忆管理和多轮迭代，完成更复杂的任务。比如让模型自己查数据库、写代码、运行测试、根据结果调整方案。当前非常火热的AI智能体应用案例，大多是把大模型与一套业务工具打通，本质上是利用模型做规划和决策。MCP这类标准协议也在做同样的事，把工具接入标准化，模型就能以统一方式调用外部能力。
5. 给开发者的实操地图：选型、部署与调优
5.1 选模型看什么指标
面对这么多大模型，怎么选？我自己的判断维度是这几项。
第一是任务场景。做内容生成、代码补全，选生成式模型；做文本分类、信息抽取，很多中小模型就够了。第二是模型规模。7B到14B适合入门和私有化部署，32B到70B质量更好但对显存要求高，再往上的几百B级别通常只能走API。第三是上下文长度和价格。第四是许可证和合规成本。就算大模型跑分网站和测评榜单看了很多，最后还是要拿自己的真实业务样例去跑一轮，效果好坏只有测试了才知道。
第五是平台服务。很多免费大模型API都有调用限额，适合学习验证；如果业务量稳定，再考虑付费服务或私有化部署。切忌一上来就堆参数最大的模型，推理成本会压垮项目。
5.2 免费API与本地部署怎么做
本地部署大模型是很多开发者的第一个动手项目，难度没有想象中那么大。以Ollama为例，一条命令就能拉起一个模型服务，内置OpenAI兼容API，各种开发框架可以直接对接。LM Studio则更偏向图形界面，适合在Windows或Mac上做测试。
硬件方面，我实测的参考线大概是：7B模型量化后约需6到8GB显存，13B模型约需10到12GB显存，70B模型至少需要48GB左右显存，或者用多卡并行。CPU纯跑也能响应，但生成速度会比较难受。如果只是体验API，很多平台提供免费额度，直接注册开个Key就够了。
很多初学者经常问的一个问题是Visual Studio 2022能不能接本地模型生成代码。可以，本地模型服务只要暴露了标准接口，IDE通过扩展就能连接。不过说实话，体验和商用API差距明显，本地小模型更适合做代码补全、格式整理这类轻量任务。
5.3 从调用到微调的完整路线
我的建议是严格按照“调用API → 尝试提示工程 → 搭建RAG → 最后才考虑微调”这个顺序推进，跳步很容易踩坑。
第一步，把模型API调通，充分熟悉它的参数，比如temperature、top_p、max_tokens。temperature控制随机性，实际做实事场景我一般调低，0.2到0.3之间，让输出更稳定。第二步，设计一套自己的提示词模板，规范输入输出格式，把业务规则写清楚。第三步，把私有知识文档接入RAG流程，做一次端到端的知识问答测试。如果机器人大部分问题都能答对，就完全没有必要微调。
如果你真的走到了微调这一步，重点要花时间在数据准备上。一条典型的微调数据包括指令、输入、输出三段。数量不在多，质量比数量重要：几百条高质量数据往往比几万条脏数据效果好。微调之后一定要做回归测试，跑同一批评测问题，对比微调前后的输出，防止出现“学新忘旧”的灾难性遗忘问题。
5.4 按历史脉络来学习
如果你想系统地学大模型，我的建议是不要按“模型新闻时间线”学，而是按我在这篇笔记里梳理的“技术脉络”学：先把语言模型和Transformer底子打牢，再理解缩放定律和预训练范式，然后上手部署和调用，最后深入对齐和多模态、智能体这样的前沿方向。
基础部分请不要跳过。很多人在ChatGPT火了之后直接跳到“提示词技巧”“智能体框架”，一遇到概念就卡壳，比如不知道RoPE是什么，不知道温度和采样有什么关系，不知道上下文窗口为什么影响注意力计算。这些恰恰都在原始论文里写得很清楚。读原始论文比读二手博客更费时间，但后者能给你“授人以鱼”，前者能给你“授人以渔”。
6. 学习过程中的常见误区与个人心得
6.1 误区一：只看新论文，不看原始论文
现在很多学习资料都是“三天速成”“一文看懂”的形式，信息密度低，还容易失真。我见过不少同学对FlashAttention讲得头头是道，但对Transformer基础结构却说不出所以然。原因很简单，他们直接从2023年的论文看起，跳过了2017、2018、2020这三篇最核心的源头论文。
我的经验是：战略上可以从最新论文切入，但战术上一定要回溯源头。读论文时给自己定一个标准——看不懂的地方，追到它的引用论文。顺着引文树往上爬，很快就能建立起一棵完整的知识树。这个动作花时间，但值得。
6.2 误区二：把上下文长度当成唯一指标
模型参数页上的超大上下文，往往让人产生一种“买到了超能力”的错觉。真实项目里，模型能“容纳”多少token和能“利用”多少token不是一回事。评测长文本能力要专门设计任务，比如把关键信息埋在文档中间，看模型能不能准确找到并回答。
所以做长文本应用的时候，不要贪心。我一个经验是，RAG场景单次送入的检索片段控制在1000到2000个token以内，效果最稳。与其喂一整本书，不如先做好切块和排序。这属于工程习惯，和模型能力无关。
6.3 误区三：遇到问题就微调
“这个模型回答得不好，干脆微调一下。”这句话我听过太多次，也踩过同样的坑。微调成本高、周期长、风险大，很多情况下用更好的提示词、更完整的知识检索、更合适的模型，就能解决问题。
举个例子，如果模型输出格式总是不符合要求，先试结构化提示词，把输出样例直接写进提示词里；如果模型经常给出过时信息，先试RAG；如果模型经常幻觉，先检查检索质量。把这些外部手段用尽，再来评估是否真的需要微调。这个“先外后内”的原则，能帮你避免绝大多数不必要的训练开销。
6.4 我的一点建议
整理这份学习笔记的过程中，我最大的体会是：大模型不是一夜之间冒出来的天才发明，而是一步一步沿着“预测下一个词”这条主线，把几十年前就存在的神经网络思路，堆到了一个新的规模尺度上。理解了这条主线，你会更容易判断哪些技术是长期资产、哪些只是短期噪音。
最后再分享一个小技巧：学习大模型时，给自己准备一个“脉络笔记本”——记录某个技术出现之前业界痛点是什么、它解决了什么、代价是什么。这个笔记不需要很长，一行都行。长期积累下来，你会发现自己的理解深度会明显超过那些只看结论的人。这份笔记就算是我的“脉络笔记本”的一次公开整理，希望对你有用。
