1. 从"预测下一个词"说起：大模型到底在做什么
很多人第一次接触大模型，脑子里冒出来的问题是"它是不是真的理解了我说的话"。这个问题其实问偏了。大模型从诞生到现在，核心任务一直没变过——给定一段已有的文本，预测下一个最可能出现的词。就这么简单，也正因为简单到极致，才撑得起后来所有的能力涌现。
你可以把它想象成一个超级接龙高手。你给它"今天天气真"，它接"好"的概率可能是0.7，接"差"的概率是0.1，接"不错"的概率是0.15，剩下的概率分给其他几千个候选词。它做的事情就是从这个概率分布里挑一个词出来，然后把新词拼回原文，再预测下一个。如此循环，直到生成结束符或者达到长度上限。
这个机制听起来平平无奇，但关键在于参数量和训练数据量。当模型参数从几千万涨到几千亿，训练数据从几GB涨到几十TB的时候，量变引发了质变。模型开始表现出上下文学习、思维链推理、代码生成这些训练目标里根本没直接教过的能力。这就是所谓的"涌现"。
理解这一点非常重要，因为它解释了大模型的很多"怪脾气"。比如为什么它会一本正经地胡说八道？因为它本质上是在做概率采样，而不是在查数据库。当它没见过某个事实时，它会按照语言模式"编"一个看起来最合理的答案，而不是老老实实说"我不知道"。再比如为什么同一个问题问两遍答案可能不一样？因为采样过程带有随机性，温度参数越高，随机性越大。
从技术路线上看，大模型的发展其实经历了几个明显的阶段。最早是统计语言模型，用n-gram做词频统计，效果受限于数据稀疏问题。然后是神经网络语言模型，用RNN、LSTM来建模序列，但存在长距离依赖丢失和训练慢的问题。真正的转折点是2017年Transformer架构的提出，自注意力机制让模型可以并行处理整个序列，训练效率和解码质量都上了一个台阶。再往后就是BERT、GPT系列、以及国内DeepSeek等模型的百花齐放。
所以当你看到"大模型"这三个字的时候，不要把它当成一个黑箱。它就是一个用海量文本训练出来的、参数量巨大的概率预测器。所有的能力、所有的局限、所有的调优手段，都建立在这个基础认知之上。
2. Transformer：让大模型真正跑起来的那台发动机
2.1 自注意力机制到底在算什么
Transformer的核心是自注意力（Self-Attention）。用大白话说，就是让序列里的每个词都去看一眼其他所有词，然后决定自己应该从谁那里吸收多少信息。
具体怎么算？每个词会生成三个向量：Query（查询）、Key（键）、Value（值）。Query代表"我想找什么"，Key代表"我有什么可以被找"，Value代表"我实际携带的信息"。然后用Query去和所有词的Key做点积，得到注意力分数，softmax归一化之后变成权重，再用这些权重去加权求和所有的Value。
举个例子，"小明把苹果给了小红，因为她饿了"这句话里，"她"这个词的Query会去匹配前面所有词的Key。由于语义上的关联，"小红"的Key和"她"的Query点积分数会比较高，所以"她"会从"小红"那里吸收更多信息。这就是自注意力解决指代消歧的方式。
多头注意力（Multi-Head Attention）则是把上面这个过程并行做多次，每次用不同的投影矩阵。有的头可能关注语法关系，有的头关注语义相似度，有的头关注位置邻近。最后把所有头的输出拼接起来，再过一个线性层。这样做的好处是模型可以从多个角度理解同一段文本。
2.2 为什么RNN被Transformer取代了
RNN的问题在于它是串行的。处理第t个词的时候，必须等第t-1个词处理完，因为隐藏状态要一步步传递。这意味着训练时无法并行，序列一长，训练时间就爆炸。而且梯度在反向传播时经过很多步，容易消失或爆炸，导致长距离依赖学不好。
Transformer的自注意力是全局并行的。整个序列一次性输入，所有位置同时计算注意力。训练时GPU利用率极高，序列长度从几百扩展到几千甚至几万都可行。当然，自注意力的计算复杂度是O(n²)，n是序列长度，所以超长序列仍然是个挑战，后来才有了各种稀疏注意力、滑动窗口注意力的优化方案。
2.3 位置编码：没有它，Transformer就是个词袋
自注意力本身是位置无关的。你把"我爱你"和"你爱我"输入进去，如果不加位置信息，模型算出来的注意力分布是一样的。所以必须显式地注入位置编码。
原始Transformer用的是正弦余弦位置编码，用不同频率的三角函数生成每个位置的向量。后来BERT和GPT用的是可学习的位置嵌入，效果差不多但更灵活。再往后，为了支持更长的上下文，出现了旋转位置编码（RoPE）、ALiBi等方案。RoPE的核心思想是把位置信息编码成旋转矩阵，让注意力分数天然带有相对位置信息，外推能力更好。现在主流的大模型基本都用RoPE或者它的变体。
2.4 编码器、解码器、以及两条路线的分岔
原始Transformer是编码器-解码器结构，编码器负责理解输入，解码器负责生成输出。但后来大家发现，这两个部分其实可以拆开用。
BERT走的是只用编码器的路线。它通过掩码语言模型（Masked Language Model）训练，随机遮住输入里的一些词，让模型去猜。这样训练出来的模型特别擅长理解任务，比如文本分类、命名实体识别、语义匹配。但BERT不擅长生成，因为它没有自回归的解码机制。
GPT走的是只用解码器的路线。它用标准的自回归语言模型训练，每次预测下一个词。虽然训练目标更简单，但当你把模型堆得足够大、数据喂得足够多的时候，生成能力就涌现出来了。ChatGPT、GPT-4、以及后来的DeepSeek系列，都是这条路线。
这两条路线没有绝对优劣，取决于你要解决什么问题。做检索、分类、抽取，BERT系更合适；做对话、写作、代码生成，GPT系更合适。现在也有一些模型尝试把两者融合，比如用编码器做理解、解码器做生成，但主流还是分开的。
3. 从BERT到GPT再到DeepSeek：几条关键路线的演进逻辑
3.1 BERT的贡献：预训练+微调范式
BERT在2018年出来的时候，最大的贡献不是模型结构本身，而是**"预训练+微调"**这个范式。在此之前，NLP任务基本是一个任务一个模型，从零开始训练。BERT证明了，你可以先在海量无标注文本上预训练一个通用语言模型，然后针对具体任务加一个小的输出层，用少量标注数据微调，就能达到很好的效果。
这个范式的意义在于把标注成本降下来了。预训练阶段不需要人工标注，互联网上的文本随便用。微调阶段只需要几百到几千条标注数据。这让NLP技术的落地门槛大幅降低。
BERT的另一个贡献是双向上下文。GPT是单向的，只能看左边的词。BERT用掩码机制，可以同时看左右两边的词。对于理解类任务，双向信息显然更充分。但这也决定了BERT不能直接用来做生成，因为生成必须是单向的，否则就作弊了。
3.2 GPT的路线：把"大"做到极致
GPT系列走的是另一条路。它坚持自回归语言模型，坚持只用解码器，然后把模型规模和训练数据不断推大。GPT-1只有1.17亿参数，GPT-2到了15亿，GPT-3到了1750亿，GPT-4据传是混合专家架构，总参数量更大。
这条路线最反直觉的地方在于：训练目标如此简单，为什么能work？答案在于，当你强迫模型预测下一个词的时候，它为了做好这个任务，不得不学会语法、语义、世界知识、推理能力。这些能力不是显式教给它的，而是作为副产品涌现出来的。
GPT-3之后，大家发现了一个新玩法：上下文学习（In-Context Learning）。你不需要微调模型，只需要在提示词里给几个例子，模型就能学会新任务。比如你给它"苹果->apple，香蕉->banana，橘子->"，它能接"orange"。这说明模型在预训练过程中已经学会了"类比"这个抽象能力。
再往后就是指令微调（Instruction Tuning）和人类反馈强化学习（RLHF）。前者让模型学会听懂指令，后者让模型的输出更符合人类偏好。ChatGPT之所以比GPT-3好用那么多，主要就是这两步的功劳。
3.3 DeepSeek的启示：效率和成本也是核心竞争力
DeepSeek系列模型给行业带来的最大冲击不是"又一个大模型"，而是在有限算力下做到了接近顶尖水平的性能。它用了混合专家（MoE）架构，每次推理只激活一部分参数，大幅降低了计算成本。同时它在训练策略、数据配比、强化学习方面做了很多工程优化。
这对从业者的启示是：大模型不只是堆参数的游戏。架构设计、训练效率、推理成本、数据质量，这些因素同样关键。尤其是当你要做本地部署或者私有化落地的时候，一个70B的稠密模型可能跑不动，但一个671B总参数、37B激活参数的MoE模型，在合适的硬件上就能跑起来。
另外DeepSeek在推理能力上的强化也值得关注。它通过强化学习让模型学会"先想再答"，在数学、代码、逻辑推理任务上表现突出。这种推理时计算的思路，正在成为新的趋势——不是把所有能力都塞进预训练，而是在推理阶段动态分配算力。
4. 大模型微调：什么时候该做，什么时候不该做
4.1 微调不是万能药
很多人一上来就想微调，觉得只有微调才能让模型懂自己的业务。这个想法在2024年之前可能还对，但现在情况变了。提示词工程和上下文工程已经能解决大部分问题。你完全可以通过精心设计的系统提示词、少样本示例、检索增强生成（RAG）来让通用大模型适配你的场景。
微调真正必要的场景其实不多：一是领域术语和风格，比如医疗病历、法律文书、特定行业的黑话，这些通用模型确实不熟；二是输出格式强约束，比如必须输出特定结构的JSON、必须遵循某种模板；三是成本优化，用一个小模型微调后替代大模型API调用，长期看能省不少钱；四是数据隐私，数据不能出本地，只能用开源模型自己微调。
如果你只是想让模型回答得更准确、更符合业务逻辑，先试试RAG和提示词优化。微调是最后的手段，不是第一选择。
4.2 全量微调、LoRA、QLoRA怎么选
全量微调就是更新模型所有参数。效果最好，但显存需求极大。一个7B模型全量微调，至少需要几张A100。而且容易过拟合，小数据集上微调完可能通用能力就废了。
**LoRA（Low-Rank Adaptation）**是目前最流行的方案。它冻结原模型参数，只在每个权重矩阵旁边加一个小型的低秩矩阵，训练时只更新这两个小矩阵。显存需求大幅降低，7B模型用一张24G显存的卡就能跑。效果在多数任务上接近全量微调。
QLoRA在LoRA基础上进一步量化。它把原模型量化到4-bit，然后在这个量化模型上做LoRA训练。显存需求更低，7B模型一张16G卡就能跑，甚至消费级显卡也行。代价是训练速度稍慢，效果可能有轻微损失。
选择逻辑很简单：显存充足、追求极致效果，全量微调；显存有限、追求性价比，LoRA；显存非常有限、想用消费级显卡，QLoRA。
4.3 数据质量比数据量重要
微调数据不是越多越好。1000条高质量、多样化的指令数据，往往比10万条低质量数据效果好。什么叫高质量？指令清晰、回答准确、格式统一、覆盖多种场景。什么叫低质量？重复、矛盾、格式混乱、回答敷衍。
实际操作中，我建议先人工写200-500条种子数据，覆盖核心场景和边界情况。然后用大模型辅助扩充，但扩充完必须人工审核。审核的重点是：回答是否正确、是否符合业务规则、是否有安全风险。这一步偷懒，后面模型就会学歪。
另外要注意数据配比。如果你只喂某一类任务的数据，模型会在这类任务上过拟合，其他能力退化。一般建议通用指令数据和领域数据按一定比例混合，比如7:3或8:2。
4.4 微调后的评估不能只看loss
训练loss下降不代表模型变好了。你必须准备一个独立的评估集，覆盖真实使用场景。评估指标包括：回答准确率、格式合规率、拒答率、有害输出率。最好再做一些人工评估，因为很多问题自动指标看不出来。
我踩过的一个坑是：微调后模型在评估集上表现很好，但上线后发现它变得"过于自信"，对于不知道的问题也硬编答案。后来发现是训练数据里缺少"我不知道"这类样本。补了一批拒答数据后，问题才解决。
5. 大模型部署：从API调用到本地跑起来
5.1 云端API vs 本地部署
云端API的好处是省事、弹性、按量付费。适合快速验证、流量波动大、没有GPU资源的团队。缺点是数据要出本地、长期成本可能高、受限于服务商的模型版本和限流策略。
本地部署的好处是数据可控、成本固定、可以深度定制。适合数据敏感、调用量大、需要微调的场景。缺点是需要GPU硬件、需要运维、模型更新麻烦。
我的建议是混合策略：核心敏感业务本地部署，非敏感业务用API；高峰期用API弹性扩容，平时用本地。这样兼顾成本和合规。
5.2 推理框架的选择
本地部署大模型，绕不开推理框架。常见的有vLLM、TensorRT-LLM、llama.cpp、Ollama。
vLLM的优势是PagedAttention，把KV Cache分页管理，显存利用率高，吞吐量大。适合服务端多并发场景。TensorRT-LLM是NVIDIA官方方案，在N卡上性能极致，但配置复杂。llama.cpp主打CPU和消费级显卡，量化支持好，适合个人玩。Ollama封装得最好，一条命令就能跑，适合快速体验。
选择逻辑：生产环境多并发，vLLM；N卡极致性能，TensorRT-LLM；个人电脑、Mac，llama.cpp或Ollama；快速原型，Ollama。
5.3 量化：让大模型跑在消费级硬件上
量化是把模型权重从FP16降到INT8、INT4甚至更低，减少显存占用和计算量。常见方案有GPTQ、AWQ、GGUF。
GPTQ是训练后量化，把权重逐层量化，校准数据跑一遍就行。AWQ是激活感知量化，对重要权重保留更高精度，效果通常比GPTQ好。GGUF是llama.cpp用的格式，支持CPU和GPU混合推理，量化等级从Q2到Q8，Q4_K_M是常用的平衡点。
实测下来，7B模型用Q4量化后，显存占用从14G降到4G左右，消费级显卡就能跑。效果损失在多数任务上不明显，但数学和代码任务可能下降几个点。13B模型Q4量化后需要8G左右显存，30B需要16-20G，70B需要40G以上。
5.4 部署后的监控和调优
模型部署不是跑起来就完事了。你需要监控延迟、吞吐、显存占用、错误率。延迟包括首token延迟和每token延迟，前者影响用户体验，后者影响生成速度。吞吐用tokens/s衡量，决定了能服务多少并发。
调优手段包括：调整batch size平衡延迟和吞吐；调整KV Cache大小；开启连续批处理（continuous batching）；用投机采样（speculative decoding）加速。投机采样是用一个小模型先草拟几个token，大模型再验证，能显著提速。
6. 提示词工程与上下文工程：不训练也能让模型听话
6.1 提示词的结构化写法
好的提示词不是"请你帮我写一篇关于AI的文章"，而是包含角色、任务、约束、示例、输出格式的结构化指令。
角色设定让模型进入特定视角，比如"你是一名有十年经验的Python工程师"。任务描述要具体，比如"审查以下代码，找出潜在的性能问题和安全漏洞"。约束条件要明确，比如"只输出问题列表，不要解释，不要建议"。示例给一两个输入输出对，让模型模仿。输出格式用JSON Schema或者模板固定。
这样写出来的提示词，效果比随意一句话好很多。而且可复现、可维护、可版本管理。
6.2 少样本示例的选取技巧
少样本示例不是随便找几个就行。要选多样化的，覆盖不同输入模式；要选有代表性的，能体现任务的核心难点；要选格式一致的，避免模型困惑。
示例数量一般3-5个就够，太多会占用上下文窗口，而且边际收益递减。示例的顺序也有影响，把最相关的放最后，因为模型对靠近生成位置的token注意力更高。
6.3 上下文工程：RAG和长上下文
RAG（检索增强生成）的思路是：先把知识库切成小块，存到向量数据库；用户提问时，检索最相关的几块，拼到提示词里，让模型基于这些内容回答。这样模型不需要记住所有知识，只需要会"阅读理解"。
RAG的关键在于检索质量。切块大小、重叠长度、嵌入模型选择、检索策略（向量检索、关键词检索、混合检索）、重排序，每一步都影响最终效果。我见过很多RAG系统效果差，不是模型不行，而是检索出来的内容根本不相关。
长上下文是另一条路。现在很多模型支持128K甚至1M token的上下文，你可以把整本书塞进去。但长上下文不等于有效利用，模型在超长上下文里容易"迷失中间"，关键信息放中间可能被忽略。所以即使有长上下文，RAG仍然有价值。
6.4 提示词的版本管理和A/B测试
提示词是代码，应该纳入版本管理。每次修改都要记录改了什么、为什么改、效果如何。上线前做A/B测试，对比新旧提示词在真实流量上的表现。
评估指标包括：任务完成率、用户满意度、平均交互轮数、token消耗。不要只看单次回答质量，要看整体对话效率。有时候一个更简洁的提示词，虽然单次回答稍差，但减少了来回确认，整体体验反而更好。
7. 大模型学习路线：从入门到能干活
7.1 先建立直觉，再抠细节
很多初学者一上来就啃Transformer论文，被公式劝退。我的建议是先建立直觉。你可以先看《The Illustrated Transformer》这类可视化讲解，理解自注意力在干什么、编码器和解码器的区别、预训练和微调的关系。有了直觉之后，再回去看论文，会发现公式只是把直觉数学化了。
动手方面，先跑通一个开源模型的推理，感受一下输入输出。然后试着改提示词，观察输出变化。再然后尝试用LoRA微调一个小模型，走完数据准备、训练、评估、部署的完整流程。这个过程中遇到问题再针对性学习，比系统性地从头学效率高得多。
7.2 必读论文和必跑代码
论文方面，Transformer、BERT、GPT-3、InstructGPT、LoRA、Chain-of-Thought这几篇是必读的。不用每篇都精读，但要知道每篇解决了什么问题、核心方法是什么、有什么局限。
代码方面，Hugging Face的Transformers库是绕不开的。学会用AutoModel、AutoTokenizer加载模型，用Trainer做微调，用Pipeline做推理。然后学PEFT库做LoRA，学vLLM做部署，学LangChain或LlamaIndex做应用编排。
7.3 从"会用"到"会调"的关键跨越
会用就是能跑通demo，会调是能解决实际问题。跨越的关键在于建立评估体系。你需要知道怎么衡量模型好不好，怎么定位问题出在哪，怎么迭代优化。
具体来说，要学会构建评估集、设计评估指标、做错误分析。错误分析是提升最快的环节：把模型的错误回答收集起来，分类归因，是检索问题、提示词问题、还是模型能力问题。然后针对性解决。
另外要学会成本意识。不是所有任务都需要大模型，有些用规则、用小模型、用传统ML就够了。大模型是工具箱里的一把锤子，不是所有问题都是钉子。
7.4 持续跟进：这个领域三个月就变天
大模型领域变化极快。今天的主流方案，三个月后可能就被取代了。保持跟进的方式：关注几个核心团队的博客和论文，比如OpenAI、Anthropic、Google DeepMind、Meta AI、DeepSeek；参与开源社区，看大家在用什么、踩什么坑；定期动手试新模型、新框架、新工具。
但也不要盲目追新。底层原理变化没那么快，Transformer、注意力机制、预训练微调范式，这些核心东西几年内不会大变。把基础打牢，新东西来了上手就快。
我个人在实际操作中的体会是，大模型这个领域，动手比看书重要，评估比训练重要，场景比技术重要。你不需要成为算法专家，但你需要知道什么场景用什么方案、怎么衡量效果、怎么控制成本。这些能力，只有在真实项目里才能练出来。
