BERT与GPT架构差异解析：从注意力机制到实战选型

1. 从BERT到GPT：两种架构的分岔路口到底差在哪

很多人学完Transformer的Encoder和Decoder结构之后，脑子里还是一团浆糊——BERT和GPT明明都是从Transformer出来的，为什么一个擅长做理解、一个擅长做生成？这个问题如果不在脑子里彻底掰扯清楚，后面看再多论文都是白搭。

我自己最开始接触这两个模型的时候，也是花了很长时间才把它们的"血缘关系"理顺。后来我发现，真正理解它们差异的关键，不在于背结构图，而在于搞清楚一个核心问题：注意力机制里，每个token到底能看到哪些位置的信息。这个"能看到谁"的问题，直接决定了模型的训练方式和能力边界。

1.1 一个比喻：双向阅读 vs 单向续写

你可以把BERT想象成一个做完形填空题的学生。给你一句话"今天天气真___"，你可以同时看到"今天""天气""真"这三个词，然后综合所有上下文来推断空格里应该填什么。这就是BERT的做法——双向注意力，每个位置都能看到左边和右边的所有token。

GPT则完全不同。它像一个在写接龙故事的人，每次只能看到前面已经写出来的内容，然后预测下一个词是什么。写"今天"的时候只能看到开头，写"天气"的时候能看到"今天"，写"真"的时候能看到"今天天气"。这就是单向（因果）注意力，每个位置只能看到自己和左边的token。

这个差异看起来很小，但它带来的后果是根本性的。BERT因为能看到完整上下文，所以特别擅长理解任务——分类、抽取、匹配、问答。GPT因为只能看左边，天然适合生成任务——续写、对话、翻译、代码补全。你让BERT去做长文本生成，它没有这个训练目标；你让GPT去做命名实体识别，它也不是不能做，但需要额外的微调策略。

1.2 注意力掩码：一行代码决定模型命运

如果你去看HuggingFace的源码，会发现BERT和GPT的注意力掩码逻辑差异非常直观。BERT的attention mask就是一个简单的padding mask，标记哪些位置是真实token、哪些是填充的。而GPT的attention mask是一个下三角矩阵，确保位置i只能attend到位置0到i。

# GPT的因果掩码（上三角部分被mask掉） import torch seq_len = 5 causal_mask = torch.tril(torch.ones(seq_len, seq_len)) print(causal_mask) # tensor([[1., 0., 0., 0., 0.], # [1., 1., 0., 0., 0.], # [1., 1., 1., 0., 0.], # [1., 1., 1., 1., 0.], # [1., 1., 1., 1., 1.]])

这个下三角矩阵就是GPT的灵魂。它保证了训练时的并行性和推理时的一致性——训练的时候虽然所有token一起喂进去，但每个位置只能看到左边的信息，和推理时逐token生成的行为完全对齐。

BERT没有这个约束，所以它的[CLS] token能够聚合整个句子的双向信息，特别适合做句子级别的表示。但反过来，BERT也没法直接用来做自回归生成，因为它在训练时看到了"未来"的信息，推理时没法复现这种条件。

1.3 训练目标的本质区别

BERT用的是Masked Language Model（MLM），随机遮住15%的token让模型去猜。这个目标迫使模型学会从双向上下文推断被遮住的内容，本质上是在学习一个"填空"能力。

GPT用的是Causal Language Model（CLM），就是标准的语言模型目标——给定前面的token，预测下一个token。这个目标看起来更简单，但它要求模型学会在只有左侧信息的情况下做出合理预测，这恰恰是生成任务需要的核心能力。

注意：很多人以为BERT的MLM和GPT的CLM只是"遮不遮未来"的区别，其实还有一个关键点——MLM每次只预测被遮住的15%位置，而CLM每个位置都要预测。这意味着在相同数据量下，GPT的每个token都能贡献训练信号，而BERT只有15%的token参与loss计算。这也是为什么GPT系列模型在规模扩大后展现出更强的涌现能力。

理解了这些底层差异，你就能明白为什么后来会出现T5、BART这种Encoder-Decoder架构——它们试图把双向理解和自回归生成结合起来，用Encoder做理解、Decoder做生成。但那是另一个话题了，这里先把BERT和GPT这条分岔路走透。

2. 把BERT的预训练目标拆开揉碎：MLM和NSP到底在学什么

BERT的预训练用了两个目标：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。很多人对MLM比较熟悉，但对NSP的理解往往停留在"判断两句话是不是连续的"这个层面，其实里面有不少值得深挖的细节。

2.1 MLM的15%遮罩策略：为什么不是全遮

BERT论文里有一个很反直觉的设计：在被选中的15% token里，并不是全部替换成[MASK]。具体来说：

• 80%的概率替换成[MASK]
• 10%的概率替换成随机token
• 10%的概率保持不变

为什么要这么设计？如果全部用[MASK]替换，会出现一个严重的问题：模型只在看到[MASK]的时候才去学习上下文推断，而在微调阶段根本没有[MASK]这个token，导致预训练和微调之间存在不一致。

加入随机token和保持不变这两种情况，就是强迫模型对每个位置都保持警惕——你不能只盯着[MASK]去猜，你得对每个token都理解得足够好，因为任何一个位置都可能是被"动了手脚"的。这个设计思路后来被很多模型借鉴，比如RoBERTa就发现去掉NSP、用动态遮罩效果更好。

# 简化版的MLM遮罩逻辑 import random def mask_tokens(tokens, mask_prob=0.15, mask_token="[MASK]", vocab_size=30000): masked_tokens = tokens.copy() labels = [-100] * len(tokens) # -100表示不计算loss for i, token in enumerate(tokens): if random.random() < mask_prob: labels[i] = token # 记录原始token作为预测目标 r = random.random() if r < 0.8: masked_tokens[i] = mask_token elif r < 0.9: masked_tokens[i] = random.randint(0, vocab_size - 1) # else: 10%概率保持不变 return masked_tokens, labels

这段代码虽然简化了，但核心逻辑是完整的。实际训练中，遮罩是动态生成的——每个epoch对同一句话遮的位置都不一样，这比原始BERT的静态遮罩效果更好。

2.2 NSP的争议：它真的有用吗

NSP任务的设计初衷是让模型理解句子之间的关系，这对问答、自然语言推理这类任务很重要。具体做法是：50%的时候给模型两句话是真正连续的，50%的时候第二句是从语料里随机抽的，让模型判断"IsNext"还是"NotNext"。

但后来的研究（尤其是RoBERTa）发现，NSP任务可能并没有想象中那么有用，甚至可能有害。原因在于：

• 随机抽取的"下一句"来自完全不同的文档，主题差异太大，模型只需要判断主题是否一致就能完成任务，根本没学到真正的句子关系
• 去掉NSP之后，RoBERTa在多个下游任务上反而表现更好

所以现在很多BERT变体都去掉了NSP，改用其他方式（比如ALBERT用SOP——Sentence Order Prediction，让模型判断两句话的顺序有没有颠倒，这个任务更难也更有意义）。

2.3 预训练数据与词表：被忽视的关键因素

BERT用的是WordPiece分词，词表大小30000。这个选择在当时是合理的，但后来大家发现中文场景下WordPiece的效果不如按字分词或者BPE。Google原版的中文BERT就是按字分词的，词表大小21128。

预训练数据方面，原版BERT用了BooksCorpus（8亿词）和英文维基百科（25亿词）。这个数据量在今天看来不算大，但当时已经是很可观的规模了。数据质量对预训练效果的影响非常大——维基百科的文本相对干净规范，而BooksCorpus提供了更丰富的长文本。

实操心得：如果你要自己预训练一个BERT或者做领域适配，数据清洗的重要性怎么强调都不过分。我试过在噪声很大的数据上做继续预训练，结果模型学了一堆乱七八糟的模式，下游任务反而变差了。后来花了大量时间做去重、去噪、过滤低质量文本，效果才回来。

2.4 从预训练到微调：BERT的两种使用姿势

BERT在下游任务上的使用方式主要有两种：

第一种是特征提取——把BERT当作一个固定的编码器，取出[CLS]或者最后一层的hidden states，然后接一个简单的分类器。这种方式训练成本低，但效果通常不如微调。

第二种是微调——在预训练权重的基础上，用下游任务的数据更新所有参数。这是BERT论文推荐的方式，效果也最好。微调的时候学习率要设得很小（通常2e-5到5e-5），因为预训练权重已经在一个很好的位置了，大步长反而会破坏学到的表示。

微调还有一个常见坑：灾难性遗忘。如果下游任务数据很少，模型很容易过拟合，把预训练阶段学到的通用语言知识忘掉。解决办法包括：用更小的学习率、加warmup、做layer-wise learning rate decay（底层用更小的学习率，顶层用正常学习率）。

3. GPT的自回归生成：从语言模型到通用助手

GPT系列的发展路线和BERT完全不同。BERT走的是"理解"路线，GPT走的是"生成"路线。从GPT-1到GPT-2再到GPT-3，核心架构变化不大，主要是规模在扩大，但能力却出现了质的飞跃。

3.1 GPT-1：用Transformer Decoder做预训练+微调

GPT-1的架构就是Transformer的Decoder堆叠，12层，768隐藏维度，12个注意力头。它的训练分两步：先在大量无标注文本上做语言模型预训练，然后在下游任务上做有监督微调。

GPT-1的创新点在于，它证明了"预训练+微调"这个范式在生成模型上同样有效。但它的规模太小（1.17亿参数），能力有限，当时并没有引起太大轰动。

3.2 GPT-2：Zero-shot的意外惊喜

GPT-2把参数扩大到15亿，训练数据用了WebText（约40GB的网页文本）。真正有意思的是，OpenAI发现GPT-2在很多任务上不需要微调就能做——给它一个任务描述，它就能生成合理的结果。

这个发现很重要，因为它暗示了一个方向：语言模型本身可能就隐含了多种任务的能力，只要规模够大、数据够多，这些能力就会被激发出来。GPT-2的zero-shot能力虽然还不稳定，但已经让很多人开始重新思考预训练的价值。

3.3 GPT-3：In-context Learning的威力

GPT-3把参数推到1750亿，训练数据量也大幅增加。它最令人惊讶的能力是In-context Learning——你不需要更新任何参数，只需要在输入里给几个例子，模型就能学会新任务。

比如你想让GPT-3做情感分类，只需要这样写：

评论：这家餐厅的服务态度非常好。 情感：正面 评论：等了一个小时才上菜，太慢了。 情感：负面 评论：菜品一般，但环境还不错。 情感：

模型就能自动补全"中性"或者"混合"。这个过程没有任何梯度更新，完全靠前向推理完成。

这个能力背后的机制至今没有完全解释清楚。一种观点认为，Transformer的注意力机制在前向过程中隐式地实现了某种"梯度下降"——每一层都在根据上下文调整表示，效果上类似于在隐空间做优化。另一种观点认为，大规模语言模型在预训练过程中已经学到了大量任务的"模式"，in-context examples只是帮助模型定位到正确的模式。

3.4 自回归生成的采样策略：Temperature、Top-k和Top-p

GPT生成文本的时候，每一步都会输出一个词表上的概率分布。怎么从这个分布里选下一个词，直接决定了生成文本的质量和多样性。

贪心搜索就是每次选概率最大的词。这样生成的文本通常很流畅但很无聊，容易陷入重复循环。

Temperature是在softmax之前对logits做缩放。温度小于1会让分布更尖锐（更保守），大于1会让分布更平坦（更随机）。通常0.7到1.0之间比较合适。

Top-k采样是只从概率最高的k个词里采样。k太小会限制多样性，k太大会引入低质量词。一般k取40到100。

Top-p（nucleus）采样是动态选择累积概率达到p的最小词集合。比如p=0.9，就选累积概率到90%的那些词。这种方式比固定k更灵活，因为不同位置的分布形状不一样。

# 简化的Top-p采样实现 import torch import torch.nn.functional as F def top_p_sampling(logits, p=0.9, temperature=1.0): logits = logits / temperature probs = F.softmax(logits, dim=-1) sorted_probs, sorted_indices = torch.sort(probs, descending=True) cumulative_probs = torch.cumsum(sorted_probs, dim=-1) # 找到累积概率超过p的位置 cutoff = (cumulative_probs > p).nonzero()[0].item() # 保留前cutoff+1个词 sorted_probs = sorted_probs[:cutoff + 1] sorted_indices = sorted_indices[:cutoff + 1] # 重新归一化并采样 sorted_probs = sorted_probs / sorted_probs.sum() sampled_idx = torch.multinomial(sorted_probs, 1) return sorted_indices[sampled_idx]

实操心得：在实际部署中，temperature和top-p的组合需要根据任务调。做事实性问答的时候，temperature设低一点（0.3-0.5），top-p设0.8左右，减少胡编乱造。做创意写作的时候，temperature可以到0.9-1.0，top-p设0.95，让输出更多样。我见过有人直接用默认参数跑所有任务，结果要么太死板要么太飘，调参这一步不能省。

4. 选BERT还是GPT：场景驱动的决策框架

知道了BERT和GPT的原理之后，实际工作中最常遇到的问题就是：这个任务到底该用哪个。我总结了一个简单的决策框架，不一定全面，但能覆盖大部分常见场景。

4.1 任务类型决定架构选择

这个表格不是绝对的。比如BERT也可以做生成，只是需要额外的解码策略；GPT也可以做分类，只是通常不如BERT直接。但在大多数情况下，按照任务类型选架构是最省事的。

4.2 数据量和计算资源的现实约束

BERT-base有1.1亿参数，GPT-3有1750亿参数。这个差距意味着什么？意味着GPT-3的一次推理可能需要多张高端GPU，而BERT-base在一块普通显卡上就能跑。

如果你手上的数据只有几千条标注样本，微调一个BERT-base通常是最务实的选择。如果你有大量无标注文本，想做一个通用助手，那可能需要考虑GPT类模型，但训练成本是另一个数量级。

还有一个容易被忽视的点：推理延迟。BERT做分类是一次前向传播，延迟很低。GPT做生成需要逐token解码，生成长度100的文本就要做100次前向传播，延迟高得多。在实时性要求高的场景（比如在线客服），这个差异很关键。

4.3 混合架构：取两家之长

实际工程中，很多系统并不是纯BERT或纯GPT，而是混合使用。比如：

• 用BERT做意图识别和槽位填充，用GPT做回复生成
• 用BERT做检索和排序，用GPT做最终答案生成（RAG架构）
• 用BERT做质量评估，过滤GPT生成的低质量内容

这种混合架构的好处是各取所长。BERT擅长快速理解和判断，GPT擅长灵活生成。把两者串起来，往往比单用一个大模型效果更好，成本也更可控。

4.4 一个容易踩的坑：不要用BERT的[CLS]做生成

我见过有人试图用BERT的[CLS]向量直接接一个解码器来做生成，结果效果很差。原因很简单：BERT的[CLS]是在双向注意力下聚合的句子表示，它包含了整个句子的信息，但没有任何"生成顺序"的概念。用它来初始化解码器，相当于让解码器从一个"已经知道答案"的状态开始生成，这和自回归生成的逻辑是矛盾的。

正确的做法是：如果你要做生成，要么用GPT类的自回归模型，要么用BART/T5这种Encoder-Decoder架构，让Encoder负责理解、Decoder负责生成，两者通过cross-attention连接。不要试图把BERT硬改成生成模型，那是事倍功半。

5. 从理论到落地：我踩过的那些坑

理论讲完了，说点实际的。我在把BERT和GPT应用到真实项目中的过程中，踩过不少坑，有些是理解不到位，有些是工程细节没注意。这里挑几个有代表性的分享一下。

5.1 分词器不匹配导致的效果暴跌

有一次我拿一个英文预训练的BERT去做中文任务，想着"都是语言，应该差不多"，结果效果惨不忍睹。后来才发现，英文BERT的WordPiece词表里几乎没有中文字符，所有中文都被拆成了[UNK]或者单字，模型根本学不到有意义的表示。

这个坑的教训是：预训练模型的语言必须和目标任务的语言匹配。中文任务就用中文预训练模型（比如bert-base-chinese），不要想着跨语言迁移能省事。如果确实需要跨语言，用多语言BERT（bert-base-multilingual-cased），但效果通常不如单语言模型。

5.2 学习率设太大，预训练权重全毁了

微调BERT的时候，学习率是一个极其敏感的参数。我一开始用1e-3的学习率，结果loss直接爆炸，模型输出全是乱码。后来降到2e-5，才正常收敛。

为什么学习率要这么小？因为预训练权重已经在一个很好的局部最优附近了，大步长会把模型踢出这个区域，破坏已经学到的语言知识。通常的建议是：

• BERT微调：2e-5到5e-5
• GPT微调：1e-5到3e-5（更小，因为生成任务更敏感）
• 加warmup：前10%的step线性增加学习率，避免一开始就大步长

5.3 序列长度不是越长越好

BERT的最大序列长度是512。很多人以为越长越好，其实不是。更长的序列意味着更大的计算量（注意力是O(n²)复杂度），而且如果大部分序列都很短，padding到512会浪费大量计算。

我的做法是：先统计训练数据的序列长度分布，取95%分位数作为max_length。比如95%的样本都在128以内，那就设max_length=128，能省不少显存和计算时间。对于少数超长样本，可以截断或者用滑动窗口处理。

5.4 GPT生成重复内容的几种解法

用GPT生成文本时，最常见的问题就是重复——模型陷入一个循环，反复输出相同的短语。这个问题在temperature设低的时候尤其明显。

解决办法有几种：

• Repetition Penalty：对已经出现过的token降低其概率。HuggingFace的generate函数支持repetition_penalty参数，通常设1.1到1.2。
• No Repeat N-gram：禁止出现重复的n-gram。比如no_repeat_ngram_size=3，就不会出现连续3个词重复的情况。
• 提高Temperature：适当提高温度可以增加随机性，减少重复。但太高会导致输出不连贯。
• Top-p采样：比贪心搜索更不容易陷入重复循环。

我通常的组合是：temperature=0.8，top_p=0.9，repetition_penalty=1.1，no_repeat_ngram_size=3。这个配置在大多数场景下表现比较均衡。

5.5 显存不够用的几种优化手段

BERT-base微调大概需要8-12GB显存（batch_size=16，max_length=128）。如果显存不够，可以尝试：

• 梯度累积：用小batch_size跑多次前向，累积梯度后再更新。效果上等价于大batch，但显存占用小。
• 混合精度训练：用fp16代替fp32，显存减半，速度提升。HuggingFace的Trainer默认支持。
• 梯度检查点：用时间换空间，把中间激活值不保存，反向传播时重新计算。显存大幅降低，但训练变慢。
• LoRA/QLoRA：只训练少量低秩适配器参数，冻结原模型。显存需求极低，适合大模型微调。

实操心得：LoRA是我最近用得最多的微调方式。它只训练原模型0.1%到1%的参数，效果却能接近全量微调。而且训练好的LoRA权重只有几MB，方便存储和切换。如果你有多任务场景，可以给每个任务训练一个LoRA，推理时动态加载，非常灵活。

5.6 评估指标的选择陷阱

做分类任务的时候，很多人只看准确率（Accuracy）。但如果数据类别不平衡，准确率会严重误导。比如99%的样本是负类，模型全预测负类也能有99%准确率，但实际毫无用处。

更合理的指标是F1分数（尤其是macro-F1），它同时考虑精确率和召回率。对于生成任务，BLEU和ROUGE是常用指标，但它们和人类判断的相关性有限。如果条件允许，最好加入人工评估。

我在一个项目里遇到过这种情况：自动指标显示模型A比模型B好，但人工评估发现模型B的输出更自然、更有用。后来分析发现，模型A只是更擅长"抄"原文里的短语，所以BLEU分数高，但实际理解能力不如模型B。这个教训让我明白，自动指标只能作为参考，不能完全替代人的判断。

6. 一些值得关注的延伸方向

BERT和GPT的故事远没有结束。围绕这两个架构，还有很多值得探索的方向。

6.1 参数高效微调：用更少的参数做更多的事

全量微调一个BERT-base需要更新1.1亿参数，存储和部署成本都不低。参数高效微调（PEFT）的思路是只更新少量参数，就能达到接近全量微调的效果。除了前面提到的LoRA，还有Adapter、Prefix Tuning、Prompt Tuning等方法。

这些方法的共同点是：冻结预训练模型的大部分参数，只训练少量新增参数或低秩矩阵。好处是训练快、存储小、不容易过拟合。在数据量有限的场景下，PEFT往往比全量微调更实用。

6.2 检索增强生成：让GPT不再胡编

GPT的一个大问题是幻觉——它会生成看起来合理但实际错误的内容。检索增强生成（RAG）的思路是：先从知识库检索相关文档，然后把文档作为上下文喂给GPT，让它基于检索到的内容生成答案。

这样做的好处是：答案有据可查，减少了胡编乱造；知识可以随时更新，不需要重新训练模型；可以引用来源，增加可信度。RAG目前是很多问答系统的主流架构，BERT通常用来做检索和排序，GPT用来做最终生成。

6.3 指令微调与对齐：让模型更懂人话

原始的GPT-3虽然能力强，但不太"听话"——你让它写个摘要，它可能给你续写一段故事。指令微调（Instruction Tuning）就是用大量"指令-回答"对来训练模型，让它学会按照指令行事。

在此基础上，基于人类反馈的强化学习（RLHF）进一步让模型的输出更符合人类偏好。这个过程比较复杂，但效果显著——它让GPT从"会生成文本"变成了"会按照要求生成有用的文本"。

6.4 长文本处理：突破512和2048的限制

BERT的512限制和GPT的2048/4096限制，在很多场景下都不够用。长文档理解、多轮对话、代码仓库分析，都需要更长的上下文窗口。

目前有几条技术路线：稀疏注意力（只计算部分位置的注意力）、滑动窗口注意力（每个token只关注局部窗口）、线性注意力（把O(n²)降到O(n)）。这些方法各有取舍，有的损失精度，有的增加实现复杂度。但整体趋势是上下文窗口在不断扩大，这对应用层来说是好消息。

6.5 多模态扩展：从纯文本到图文音视频

BERT和GPT最初都是纯文本模型，但它们的架构很容易扩展到多模态。VisualBERT、ViLBERT把图像特征和文本特征一起输入Transformer；CLIP用对比学习对齐图像和文本的表示；GPT-4V可以直接理解图片内容。

多模态的核心挑战在于：不同模态的信息如何对齐、如何融合、如何在同一套注意力机制下处理。目前的做法通常是先用各自的编码器把不同模态转成向量序列，然后拼接起来送进Transformer。这个方向还在快速发展中，值得持续关注。

写到这里，BERT和GPT这条线的基本脉络就梳理得差不多了。从Transformer的分叉，到各自的预训练目标，再到实际应用中的选型和踩坑，每一块都有很多细节值得深挖。我在实际工作中最大的体会是：不要迷信某个架构，要根据任务、数据、资源来选。BERT和GPT不是对立的，它们只是工具箱里的不同工具，用对了场景才能发挥价值。