最近在整理文本分类的落地方案，顺手把大模型这条路从判别式到生成式都过了一遍，发现很多人一上来就想着用生成式大模型做分类，反而把一直很稳的判别式方案给忽略了。这篇文章先聊判别式的老江湖——BERT，它虽然不算最潮的模型，但在“读懂一句话”这件事上，依然是性价比极高的选择。无论你是在做舆情监控、评论标签、工单流转，还是垃圾内容识别，只要涉及“给文本贴标签”，BERT 这套思路都值得先看清楚。
1. 为什么文本分类首选判别式模型：先把成本账算清楚
1.1 生成式模型和判别式模型的本质区别
很多人听到“大语言模型”就下意识想到 ChatGPT 那一类生成式模型，做分类也直接往提示词工程上靠。这当然是一条路，但不是唯一的路。从机器学习的基本分法来看，判别式模型学习的是“给定输入，属于哪个类别”的决策边界；生成式模型学习的则是“每个类别如何生成输入”，再借助条件概率去做判断。
BERT 属于前者。它不负责“写”出一段话，而是把输入的句子压缩成一个稠密向量，然后基于这个向量直接输出类别概率。你给它“这家店的牛肉面汤头很浓郁”，它不会回你一段点评，而是告诉你“正面、美食、推荐”这些标签的概率。这种“不谈创作、只做判断”的特性，决定了它在分类任务上有几个天然优势。
一是推理成本低。BERT 的参数量虽然不小，但推理时只需要跑一次前向传播，几毫秒就能出结果。而生成式模型做分类时，通常要走一遍“构造提示词—生成回答—解析回答”的完整链路，耗时和显存开销都翻了几倍。如果是超高并发的线上接口，这个差距就非常致命。
二是可控性强。生成式模型做分类最头疼的问题是输出格式不稳定：让它输出“0或1”，它可能给你回一句“我觉得这个文本的情感值可以打分，按照情绪强度给4分”。判别式模型没有这个问题，输出层就是固定的几类，softmax 一算，结果标准化，永远不用担心格式解析失败。
三是标签调整成本低。新增一个类别，判别式模型只需要改一下全连接层的输出维度，重新微调一小段时间；生成式模型则要重新设计提示词、反复测试各种措辞，还得担心旧类别被新类别干扰。
我并不是说生成式模型一无是处，它在零样本分类、语义复杂的开放式任务上确实有独到优势。但如果你手里已经有一批标注好的数据，又要追求稳定、低延迟、可控的输出，判别式路线几乎总是更划算的选择。
1.2 为什么是BERT，而不是更旧的模型
在 BERT 之前，文本分类的主流做法是 Word2Vec 或 GloVe 词向量 + TextCNN / BiLSTM 这类组合。它们勉强能用，但有一个根本性的短板：语境无关。无论“苹果”出现在“苹果手机”还是“苹果很好吃”，拿到的都是同一个向量，模型只能靠周边词硬猜。碰到“我服了，这服务真行”这种反讽表达，效果直接崩。
BERT 的出现改变了这个局面。它通过双向 Transformer 编码器，让每个词的表征都融合了它在句子中的上下文信息。“苹果”在“苹果手机”里会更多地与“手机”产生交互，“苹果”在“苹果很好吃”里则与“好吃”关联更强。这种动态词向量的能力，让模型真正“读懂”了语义而非仅仅记忆词汇，也是它在分类任务上全面碾压旧架构的根本原因。
有人可能会问：现在不是有更大的模型了吗，为什么不直接上？这里要泼一盆冷水：模型越大，对数据量和算力的要求越高。在文本分类这类任务上，BERT 级别的模型微调，往往只需要几百到几千条标注数据就能达到可用水平，换成更大的预训练模型反而容易过拟合。选型不是追新，是匹配任务复杂度。
2. BERT 是怎么“读”懂一句话的：从词到向量的转化过程
2.1 输入侧的三件套：分词、Token嵌入、位置编码
理解 BERT 之前，先搞明白它读进来的到底是什么。BERT 并不直接接收原始字符串，它先通过分词器把句子拆成最小单元，这些单元叫做 Token。中文场景下，BERT 用的是字级别的分词方式，一个汉字通常就是一个 Token。比如“牛肉面真好吃”会被拆成“牛”“肉”“面”“真”“好”“吃”。这样做的好处是：不管遇到什么生僻词，只要字还在字典里，就不会出现“没见过”的尴尬，中文的词组合性太强了，词表根本收不过来。
拆成 Token 之后，还有两步关键操作。第一步是为每个 Token 计算出它的向量表示，也就是 Token Embedding。这个向量初始来自预训练阶段学到的词表映射，但注意，它只是起点。第二步是加上位置编码，让模型知道每个 Token 在句子里的先后顺序。Transformer 架构本身没有顺序概念，如果不注入位置信息，“我爱你”和“你爱我”会在模型看来完全一样，这肯定不行。
说到这里就不得不提 BERT 输入里两个非常符号化的 Token——[CLS]和[SEP]。[CLS]是加在句子开头的一个特殊标记，它不参与语义表达，纯粹负责“汇聚全句信息”。在预训练阶段，BERT 专门训练了让[CLS]的输出向量能代表整句话语义的能力。[SEP]则用来分隔句子，处理“句子A + 句子B”这种双句输入。
一个典型的输入序列长这样：
[CLS] 牛 肉 面 真 好 吃 [SEP]每一个 Token 最终都有一个综合了词义、位置、句子归属的输入向量，作为 Transformer 的输入。
2.2 自注意力机制：一句话里的重点是怎么被“划”出来的
输入向量准备好之后，真正让 BERT“读懂”句子的核心是自注意力机制。通俗地解释：每个 Token 在更新自己的向量时，会先看看句子里的其他 Token，给它们各自分配一个注意力权重，然后按权重融合信息。“牛肉面”这个词更新时，会更多地关注“吃”“好”这些相关词，而不是给每个词平均加权。
这个过程很像你在读一段话时，眼睛会不自觉地聚焦在关键词上：“但是”后面的内容往往比前面更值得注意，“事实上”往往引出真正的重点。自注意力机制就是让模型自动学会这种“抓重点”的方式，只不过它不是在扫描，而是在一次前向计算里让所有 Token 两两交互，一次性完成全句信息融合，效率远高于逐词阅读的循环网络。
拿前面那句话说，[CLS] 经过 12 层（BERT-base 是 12 层）Transformer 编码器的逐层交互后，最终输出的向量已经不等于初始向量了，它内化了整句话的语义关系。“好”“吃”有没有修饰“牛肉面”，“真”表达的是肯定还是反讽，这些通通被压缩进了最后的向量空间。
2.3 下游分类：CLS 向量是怎么变成标签的
到这里就涉及 BERT 最漂亮的设计之一：预训练和微调共享同一个底座。预训练阶段，BERT 学会了通用的语言表示能力；分类任务上，我们只需要在它的顶部加一层分类头——通常就是一个全连接层加 softmax。
具体流程是这样的：句子过完 12 层 Transformer，取出[CLS]对应的输出向量，假设维度是 768。这个向量被送入一个线性层（维度从 768 映射到标签数量），得到每个类别的原始得分（logits），再经过 softmax 变成概率分布。整个后加部分的结构可以用一句话概括：拿预训练的语言理解能力做特征提取器，拿一个极浅的网络做决策边界学习。
这样做有一个特别省心的好处：我们不需要重新设计特征工程，也不用手动抠文本规则。标注好数据，丢进去微调，BERT 会自动把所有“特征工程”内化到注意力模式里。什么否定词、程度副词、转折关系，只要训练数据里出现过，它就能学会捕捉。
# 伪代码示意：BERT 分类头的结构 class BertForClassification(nn.Module): def __init__(self, bert_pretrained, num_labels): super().__init__() self.bert = bert_pretrained # 预训练权重，冻结或微调 self.classifier = nn.Linear(768, num_labels) # 分类头 self.softmax = nn.Softmax(dim=-1) def forward(self, input_ids, attention_mask): outputs = self.bert(input_ids, attention_mask=attention_mask) cls_vec = outputs.last_hidden_state[:, 0, :] # 取出 [CLS] 向量 logits = self.classifier(cls_vec) return self.softmax(logits)3. 动手做一次文本分类的全流程实操：从数据准备到微调训练
3.1 数据准备：标注格式与预处理
实操部分，我们用一个模拟项目 X 来说明：对客服工单做分类，标签有四类：咨询、投诉、建议、维修。这类任务在真实业务里非常常见，且标签之间有语义交叉，适合用来理解 BERT 的微调全过程。
第一步是准备数据。BERT 微调的输入格式要求文本和标签一一对应，推荐用最简单的 TSV 或者 CSV 文件，两列：text 和 label。为了验证效果，数据要划分成训练集和验证集，常见比例是 8:2。不要觉得这个步骤简单就掉以轻心，数据质量直接决定模型上限。建议至少保证每个类别有几百条样本，如果某个类别样本太少，后续可以做一些简单的上采样或者数据增强。
预处理阶段有一个关键点：不需要做传统意义上的中文分词。很多人习惯性地把“牛肉面真好吃”先切成“牛肉面 / 真 / 好吃”，再送进模型。这在 BERT 体系下是多余操作，而且有风险。因为 BERT 用的是字级 Token，分词器的输出是由它自己控制的，你额外切一刀反而可能打乱它的词边界判断。你要做的主要是清洗工作：去重、去空白、过滤超长文本。
3.2 加载模型与分词器：为什么必须用配套的 Tokenizer
这一步是很多新手翻车最多的地方。加载 BERT 模型时，必须同步加载它配套的分词器（Tokenizer），不能自己写一个分词逻辑往里塞。因为分词器的词表是预训练时确定的，你的自定义切分很可能产生大量[UNK]（未知词）标记，模型面对一堆未知词，语义理解能力基本归零。
以中文场景为例，我习惯用bert-base-chinese这类预训练权重，对应的分词器会把输入变成这样：
原始文本: "你们的工程师什么时候上门" Token IDs: [101, 872, 6206, 4692, 3250, 1963, 2360, 782, 1377, 102]开头的 101 就是[CLS]，结尾的 102 是[SEP]。实际操作中还要生成 attention mask，标记哪些位置是真实 Token、哪些位置是 padding 出来的空位，让模型在计算注意力时忽略没有意义的部分。
from transformers import BertTokenizer, BertForSequenceClassification tokenizer = BertTokenizer.from_pretrained("bert-base-chinese") model = BertForSequenceClassification.from_pretrained( "bert-base-chinese", num_labels=4 ) text = "你们的工程师什么时候上门" encoded = tokenizer( text, max_length=128, padding="max_length", truncation=True, return_tensors="pt" ) # encoded 里包含 input_ids 和 attention_mask3.3 训练参数设置：学习率、Batch Size、序列长度的权衡
很多人微调 BERT 喜欢用默认参数，但实际表现并不好。这里分享一套我用下来比较稳妥的起点配置。
学习率是 BERT 微调里最先需要调的参数。BERT 的预训练权重已经是一个很好的起始点，我们希望在这基础上小幅调整，而不是大改特改。推荐设置是 2e-5 到 5e-5 之间。用太大了容易灾难性遗忘——模型把预训练学到的通用语言能力全忘光，只记住了当前训练集，验证集表现会掉得厉害。
Batch Size 的选择取决于显存。一般来说，文本分类单条样本长度不会太长，序列长度设为 128 或 256 就够。很多人喜欢设 512，但你要想清楚：序列长度越长，计算量越大，训练越慢，而且很多短文本根本用不到那么长的上下文。建议先统计一下数据集的真实最大长度，把 95% 的样本覆盖住就行。
训练轮数（Epoch）建议从 3 开始，配合早停策略，验证集性能不再提升就提前停下。注意训练集上的 loss 一直在降不代表效果好，要看验证集的表现，防止过拟合。
3.4 核心训练循环与评估指标
微调的完整代码不复杂，核心循环也就是“取 batch、算 loss、反向传播、更新参数”这几步。这里直接给一个基于 transformers 库 Trainer 的简化版，节省很多样板代码：
from transformers import Trainer, TrainingArguments training_args = TrainingArguments( output_dir="./results", learning_rate=3e-5, per_device_train_batch_size=16, per_device_eval_batch_size=32, num_train_epochs=3, eval_strategy="epoch", save_strategy="epoch", load_best_model_at_end=True, metric_for_best_model="eval_f1", ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, compute_metrics=compute_metrics, ) trainer.train()训练结束后，评估环节最好不要只看准确率。很多分类场景里类别是不均衡的，比如“投诉”可能只有几百条，“咨询”有几千条，准确率会被大头类别带着跑。更合理的指标是宏平均 F1——先分别计算每个类别的精确率和召回率，得出 F1，再取所有类别的平均值。这样才能真实反映模型在小类别上的表现。
评估之后还有一个必做的环节：在测试集（独立于验证集的数据）上跑一遍推理，检查模型在没参与过训练和早停选择的数据上的真实表现。这一步容易跳过，但很多过拟合问题恰恰在测试集上才会暴露。
4. 踩过的坑和排查经验：从过拟合到类别不均衡的应对方案
4.1 过拟合：训练集表现好，验证集却垮掉
过拟合是我做 BERT 微调时见过最多的问题，它有很典型的症状：训练集准确率一路飙升到 0.98，验证集却停在 0.7 上下反复横跳。出现这种情况，通常逃不出下面几个原因。
样本量太小是最常见的原因。BERT 虽然带了预训练知识，但顶部的分类头是随机初始化的，它需要足够的数据来学习决策边界。如果每个类别只有几十条样本，模型很容易把训练集里的噪声当成规律。对策有两条：一是减少模型容量，比如用更小的版本，或者加 dropout；二是做可控的数据增强，比如中文场景下的同义词替换、随机删除字、回译，不要用那种会扭曲语义的粗暴增强。
学习率太高也会导致过拟合。过大的学习率让分类头快速拟合训练数据，但也会让底层的 BERT 参数被破坏，最后的损失往往是灾难性遗忘。我习惯在训练时先固定底层，只训练分类头跑一两个 epoch，等分类头稳了再解冻全部参数统一微调。这种方法对中小样本尤其有效。
还有一点容易被忽视：标签噪声。如果标注人员对“建议”和“投诉”的界限把握不一致，数据里就会有一些标签错乱的样本，模型会尝试去死记这些冲突信息，表现为验证集的 loss 一直降不下来。清洗数据时，值得花时间做一次人工复核，尤其是对边界模糊的样本。
4.2 长文本和截断策略
BERT 的输入长度有硬限制，标准模型是 512 个 Token，超过就得截断。文本分类任务里经常会遇到长文本，比如一整篇客服对话记录。怎么办？直接用truncation=True一刀切，会直接丢掉后半部分的信息。如果关键信息恰好出现在文末，这单分类大概率就错了。
我常用的办法是“切片投票法”。把长文本按句子边界切成若干个不超过 500 Token 的片段，每个片段单独过模型得到概率分布，然后对多个片段的概率取平均，作为整个文档的最终预测。一句话解释原理：只要每个片段各自表达的意思还算清晰，平均概率就能综合全篇信息，而且不会因为中间某段太短而丢失语义。
如果任务是针对单句短文本分类，截断策略就没那么多讲究，优先保留开头部分就行。BERT 的注意力机制会对序列开头的[CLS]更敏感，信息密度高的开头往往能提供足够的分类依据。
4.3 类别不均衡：别只盯着准确率
类别不均衡在真实业务数据里太常见了，客服工单里“咨询”可能占 70%，“投诉”只占 3%。如果直接训练，模型会学会一个非常“省事”的玩法：把所有样本都预测成“咨询”，拿到的准确率也有 70%，看起来挺高，但完全没用。
处理办法主要有三个。第一个是损失函数层面，在交叉熵里给少数类加权，让模型对少数类分错的惩罚更大，可以手动设权重，也可以按样本数量的反比自动计算权重。第二个是数据层面，对少数类做上采样，比如简单重复采样；或者用 EDA（同义词替换、随机插入、随机交换、随机删除）做增强。第三个是评估层面，线下的模型对比必须用宏平均 F1，不要用准确率做唯一指标，否则很容易选出“看起来好但实际废”的模型。
我见过不少人在这上面反复踩坑：训练阶段没处理不均衡，模型上线后“投诉”类工单几乎全部漏检，给业务带来很大麻烦。一定要在实验设计阶段就确认评估指标，而不是训练完之后才想起来看类别表现。
4.4 预测置信度与多标签问题的处理
BERT 分类模型的输出是一组概率值，最高概率对应的类别通常就是预测结果。但有的时候，最高概率没那么高，比如投诉和咨询的概率各占 0.4 和 0.35，这种模糊样本直接按最高概率输出，误判率会比较高。
我的经验是：给模型设一个置信度阈值。最高概率超过某个值（比如 0.6）才输出真实标签，低于阈值就归入“待人工复核”类。这在客服工单场景特别实用，让模型处理它拿得准的，拿不准的交给人工，整体体验会好很多。这个阈值的设定，可以基于验证集上的概率分布画一个 PR 曲线来选，比拍脑袋定数字靠谱。
另一种常见需求是多标签分类，一条文本可以同时属于多个类别，比如一篇评价既是“投诉”又是“维修”。BERT 的做法是把输出的 softmax 换成 sigmoid，每个类别的输出独立判断是否大于 0.5。注意，这种情况下数据标注格式也要变，每条样本的标签是一个多热向量，而不是一个整数 ID。
5. 一些训练之外的经验老实话
微调 BERT 模型前，值得先跑一套简单的基线模型。拿 TF-IDF 加逻辑回归跑一遍，或者用一个现成的规则分类器，把结果记下来。这个基线看着简单，但价值巨大：如果 BERT 微调后的效果还没超过基线，说明问题大概率出在数据上，而不是模型上。我在一个项目里发现 BERT 和 TF-IDF 效果持平，最后排查下来是标签噪声太大，清洗完数据后 BERT 的领先优势才体现出来。
数据量不足的情况下，可以考虑加载更小的预训练模型先跑流程，确认代码和效果都稳定了，再换更大的模型做最终训练。这套流程能省下不少试错时间，而且小模型跑一轮只要几分钟，可以高频实验，快速定位问题。
还有一个容易忽略的优化点：类别数较少（比如四类）时，分类头的输出维度很小，整个模型大部分计算都花在 BERT 底层的特征提取上。这种情况下，可以考虑把底层换成蒸馏过的轻量版本，效果损失通常在可接受范围内，但推理速度能快好几倍。
最后，上线之前一定要做一次边界扫描。拿训练集里没有出现过的表达方式去试，比如网络新词、方言说法、特殊标点，观察模型会不会“懵”。这一步骤能暴露很多语料分布之外的问题，比多看一百遍验证集指标都管用。
