BERT中文情感分类实战：从数据预处理到训练预测完整指南

简介：自然语言处理中的情感分类是文本挖掘的重要方向，传统词频模型难以理解转折与上下文语义。BERT基于Transformer双向编码器，通过预训练与微调机制，在小规模标注数据上也能实现高精度情感判别，广泛适用于商品评论、微博等短文本场景。其工程落地涉及数据格式对齐、中文分词、参数配置与显存优化等环节。本文以中文情感分类实验为例，完整梳理从CSV/TSV数据准备、run_classifier.py训练脚本到预测输出的全流程，并针对shape mismatch、显存溢出、句向量区分度低等高频问题给出排查方案，同时展示如何将任务迁移至SQuAD问答模型以验证语义理解能力。掌握这套工程骨架，可快速复现并扩展至文本匹配、多标签分类等NLP任务。

1. BERT 中文情感分类实验：从数据集到预测脚本的完整落地

第一次跑通这个项目时，最直观的感受是：BERT 的源码并不像论文里读起来那么玄学，真正卡人的反而是数据格式和脚本参数的对齐。这份基于 BERT 的中文情感分类实验源码包，包含 22 个文件、11 个 Python 脚本和 2 个 CSV 数据集，覆盖了从预训练数据处理、特征提取到分类器训练与预测的完整链路。它不是那种只给个 model.py 的玩具 demo，而是一套能照着跑出训练曲线、能切换任务类型的工程骨架。

对刚入手 NLP 的读者来说，它帮你省掉的是「从零手写 Transformer 编码器」的重复劳动，直接拿到 Google 官方风格的建模、分词和优化器实现；对有经验的工程师来说，它的价值在于 run_classifier.py 和 run_squad.py 的任务抽象，你能在半小时内把情感二分类骨架改造成文本匹配或多标签分类。

2. 为什么选 BERT 而不是 LSTM/Word2Vec：模型选型与项目结构拆解

2.1 中文情感分类的痛点与 BERT 的切入点

传统做法一般是先分词、去停用词、再训一个 TextCNN 或 BiLSTM，这套流程在商品评论、微博短文本上确实能用，但遇到「这个手机续航不行，但拍照真不错」这种转折句，基于词频的模型很难把握情感极性。BERT 的切入点在于它的双向 Transformer 编码器能同时看到整句话的上下文，而且预训练阶段学到的通用语义表示，在小规模标注数据上微调就能达到不错的效果。

这个项目里，modeling.py 定义了 BERT 的主体结构，包括 embedding lookup、多层 Transformer block、pooler 输出等；optimization.py 实现了带 warmup 的 Adam 优化器，这两个文件基本可以理解为「模型骨架 + 训练引擎」。对初学者来说，不需要逐行读懂 attention 矩阵怎么算，但要知道 pretrained model 加载后，run_classifier.py 会在 [CLS] 向量上接一个全连接层做分类输出。

2.2 项目文件角色：哪些是核心链路、哪些是辅助工具

拿到源码包后不要急着全部看，先按执行顺序分成几条线：

• 训练主线：create_pretraining_data.py → run_pretraining.py → run_classifier.py → predict.py
• 数据处理支线：tokenization.py（分词）、extract_features.py（抽取句向量）
• 任务验证支线：run_squad.py（问答任务，用于验证模型是否具备上下文理解能力）
• 工程辅助：requirements.txt（依赖清单）、train.sh / predict.sh（一键脚本）、.gitignore（版本控制过滤）

数据文件方面，train.csv 是带标签的训练集，dev.csv 是验证集，train_sentiment.txt 和 test_sentiment.txt 是明文文本示例，适合做快速 smoke test。

2.3 关键参数预设：来自 train.sh 的经验值

train.sh 里通常预设了 batch_size、learning_rate、num_train_epochs 和 max_seq_length 这几个关键参数。常见的组合是 batch_size 32、learning_rate 2e-5、epochs 3、max_seq_length 128，这套组合在多数中文情感分类数据集上表现稳定。

max_seq_length 决定句子截断长度，128 对短文本够用，但如果你的语料是长评论或段落级文本，建议调到 256 或 512，代价是显存占用翻倍。learning_rate 太高会导致微调阶段灾难性遗忘，太低则收敛过慢，2e-5 是 BERT 微调任务的经典起点。

3. 环境搭建与数据准备：把原始文本变成 BERT 能吃的 Tensor

3.1 安装依赖与验证 GPU 环境

requirements.txt 中锁定了 tensorflow、numpy、six 等核心库版本。安装时建议用 Python 3.6 到 3.8 之间的版本，太新的 Python 可能遇到 operators 兼容问题。

pip install -r requirements.txt python -c "import tensorflow as tf; print(tf.test.is_gpu_available())"

逻辑说明：第一行把项目依赖一次性装齐，第二行验证 TensorFlow 能否调用 GPU。如果输出 False，说明当前环境只跑 CPU，训练速度会慢一个数量级。

参数说明：TensorFlow 1.x 使用 tf.test.is_gpu_available()，TensorFlow 2.x 则用 tf.config.list_physical_devices('GPU')。如果你拿到的是源码包里自带的 requirements.txt，务必先确认其中 tensorflow 版本是大版本 1 还是 2，这会直接影响训练脚本能否直接运行。

3.2 中文数据格式：CSV 与 TSV 的对齐

run_classifier.py 的数据处理器默认读取 TSV 格式，即 label + text 两列，用制表符分隔。而项目自带的数据文件是 CSV，这就带来了第一个需要手动处理的地方：

import pandas as pd df = pd.read_csv('train.csv', encoding='utf-8') df[['label', 'text']].to_csv( 'train.tsv', sep='\t', header=False, index=False )

逻辑说明：read_csv 读入原始 CSV，取 label 和 text 两列后写入 TSV，sep='\t' 指定制表符分隔。header=False 表示不保留列名行，因为 run_classifier.py 的 DataProcessor 默认按行索引读取。

参数说明：如果你的 CSV 中列名不叫 label 和 text，需要先修改列名映射。比如常见的 sentiment 和 review，就改成 df.rename(columns={'sentiment': 'label', 'review': 'text'}) 再执行上面代码。

3.3 分词细节：tokenization.py 的 FullTokenizer

BERT 对中文的处理是「按字切分」，而不是按词。tokenization.py 中的 FullTokenizer 调用 BasicTokenizer 做 unicode 归一化、标点清洗和空格处理，再用 WordpieceTokenizer 基于词表进一步切分。

from tokenization import FullTokenizer tokenizer = FullTokenizer(vocab_file='vocab.txt', do_lower_case=True) tokens = tokenizer.tokenize('这家餐厅的菜很好吃') print(tokens) # 输出：['这', '家', '餐', '厅', '的', '菜', '很', '好', '吃']

逻辑说明：中文语境下，Wordpiece 基本不会合并相邻字，所以看到的是逐个字的输出。do_lower_case 对英文字母有用，对中文无影响，但建议保持为 True 以兼容词表中的英文小写形式。

参数说明：vocab_file 参数指向 BERT 词表文件。如果项目资料里没有提供 vocab.txt，你需要从预训练模型压缩包中解压获取，词表缺失时跑任何脚本都会直接报 FileNotFoundError，这是拿到源码包后首先要检查的三件事之一。

4. 训练主流程：run_classifier.py 的参数对齐与多分类扩展

4.1 从二分类到三分类：改哪里、不改哪里

run_classifier.py 是情感分类的核心入口。以二分类为例，调用形式是：

python run_classifier.py \ --task_name=emotion \ --do_train=true \ --do_eval=true \ --data_dir=./data \ --vocab_file=./vocab.txt \ --bert_config_file=./bert_config.json \ --init_checkpoint=./bert_model.ckpt \ --max_seq_length=128 \ --train_batch_size=32 \ --learning_rate=2e-5 \ --num_train_epochs=3.0 \ --output_dir=./output

逻辑说明：task_name 指向一个自定义 Processor，do_train 和 do_eval 控制是否执行训练与验证。init_checkpoint 是预训练模型的 ckpt 文件路径，即 BERT 的初始权重，不指定就从头训练，需要海量语料和大量算力，一般不建议。

参数说明：num_train_epochs 用浮点数 3.0 而不是整数 3，是因为脚本内部做了学习率衰减的时间步计算。train_batch_size 是最容易触发显存溢出的参数，128 长度下 32 的 batch 大约占用 10-12GB 显存，如果你的显卡只有 8GB，先降到 16 或 8。

4.2 自定义 Processor：把数据接进 run_classifier.py

项目自带的 Processor 面向特定数据集，要迁移到自己的数据上，常见做法是新增一个 Processor 类，核心是复写 get_train_examples 和 get_labels 两个方法。

class SentimentProcessor(DataProcessor): def get_train_examples(self, data_dir): return self._create_examples( self._read_tsv(os.path.join(data_dir, 'train.tsv')), 'train' ) def get_labels(self): return ['0', '1'] # 三分类改为 ['0', '1', '2'] def _create_examples(self, lines, set_type): examples = [] for i, line in enumerate(lines): guid = f"{set_type}-{i}" text_a = tokenization.convert_to_unicode(line[1]) label = tokenization.convert_to_unicode(line[0]) examples.append( InputExample(guid=guid, text_a=text_a, label=label) ) return examples

逻辑说明：_read_tsv 按行读取 TSV 文件，_create_examples 将每一行包装成 InputExample 对象，run_classifier.py 会再经过 convert_single_example 完成 token 到 id 的映射、padding 和 mask 生成。

参数说明：line[0] 是标签列，line[1] 是文本列，对应刚才 pandas 转换时的列顺序。如果你的数据有多列特征，比如方面词 + 评论文本，则要重写 text_b 参数，把方面词作为句对输入，这也是 BERT 处理方面级情感分类的典型做法。

4.3 训练过程监控：loss 曲线与 eval 指标

训练时终端会打印 step、loss 和 learning_rate。正常清况下 loss 在前 100 步内从 0.7 左右快速下降到 0.2 以下是健康信号。验证集上 run_classifier.py 会输出 accuracy 和 f1 指标。如果出现 loss 不降或波动剧烈，优先检查学习率是否过大、数据集标签是否均衡，而不是急着调网络结构。

5. 中文情感分类避坑指南：数据、显存、特征提取三处高频翻车点

5.1 现象：train 脚本跑起来立刻报 shape mismatch

原因：BERT 的 embedding 层由 token embedding、segment embedding 和 position embedding 三部分组成，如果你的 vocab.txt 和 bert_config.json 不是同一套预训练模型，hidden_size 或 vocab_size 会对不上。

解决：确保 vocab.txt、bert_config.json、bert_model.ckpt 三个文件来自同一份 BERT 中文预训练权重。下载后核对 config 中的 vocab_size 是否等于词表行数，不一致就重新下载，不要试图手动改 config 硬凑。

5.2 现象：GPU 显存溢出（ResourceExhaustedError）

原因：默认 batch size 32 + max_seq_length 128 在 8GB 显存上跑不动，这是最常见的情况。

解决：优先把 train_batch_size 降到 8，eval_batch_size 同步降低；如果还溢出，把 max_seq_length 降到 64。注意修改长度后，超出部分会被截断，如果句子平均长度在 100 字以上，截断会严重损失信息，这时候应该换更大的显卡而不是一味缩短。

5.3 现象：extract_features.py 输出的句向量区分度很差

原因：直接取最后一层 [CLS] 向量做分类，而不经过微调，这时向量包含大量与任务无关的通用语义信息。

解决：常见做法是使用倒数第二层输出，或者把后四层向量拼接/平均后作为句向量。更彻底的做法是像 run_classifier.py 那样做端到端微调，让 [CLS] 向量针对情感分类任务重新编码。在 extract_features.py 里，通过 layers 参数可以控制输出层号，-1 表示最后一层，-2 表示倒数第二层，按需组合。

5.4 现象：CPU 环境训练慢到怀疑人生

原因：BERT-base 有 1.1 亿参数，CPU 上跑一个 epoch 可能要十几个小时，这不是代码问题。

解决：先用 train_sentiment.txt 这种微型数据做冒烟测试，验证代码链路通顺即可。正式训练前用 nvidia-smi 确认 GPU 在跑，训练日志会显示 device 信息。

5.5 现象：预测结果全是同一个类别

原因：常见于标签不平衡数据集，且 eval 时也按同样比例采样。

解决：在 Processor 的 get_train_examples 里做加权采样或对多数类降采样，重写 get_labels 后同步修改 evaluate 时的混淆矩阵分析，用 f1-score 而不是 accuracy 衡量模型效果。

6. 验证进阶用法：把 sentiment 模型迁移到 SQuAD 问答任务上

6.1 为什么要用 run_squad.py

项目里同时打包了 run_squad.py 并不是随手放进来的，它对应 BERT 论文中的「多任务验证」思路：如果同一个预训练模型在问答任务上也能通过微调达到可观效果，说明模型学到的是真正的上下文语义理解，而不仅仅是分类边界。对做情感分析的读者来说，run_squad.py 的意义是验证你手里的预训练权重是否加载正确。

6.2 迁移到 SQuAD 格式的两种路径

第一种是直接复用：如果你的数据本身就是问答格式，按照 run_squad.py 期望的 JSON 结构整理即可。第二种是逻辑对照：通过看 run_squad.py 的 InputFeatures 如何构造 start_position 和 end_position，可以加深对 run_classifier.py 中 label 序列化的理解。

python run_squad.py \ --bert_config_file=./bert_config.json \ --vocab_file=./vocab.txt \ --init_checkpoint=./bert_model.ckpt \ --do_train=false \ --do_predict=true \ --train_file=./data/train-v2.0.json \ --predict_file=./data/dev-v2.0.json

逻辑说明：do_train=false 表示跳过训练，直接基于已保存的 checkpoint 做预测。predict_file 的 JSON 每条样本需要 question 和 context 两个字段，内部会拼接成 "[CLS] question [SEP] context [SEP]" 的输入序列。

参数说明：如果你没有现成的 SQuAD 数据，可以把情感分类的训练数据转成 JSON 格式，跑一遍预测流程，观察模型能否输出合理的答案跨度，这个过程中的数据组织和参数调整，对理解 run_classifier.py 的序列化逻辑很有帮助。

6.3 验证特征提取层的有效性

最后回到 extract_features.py 做一个通用性检查：把训练集所有句子过一遍，输出向量后做 PCA 降维到二维，如果正负样本在平面上明显分成两簇，说明 BERT 的语义表征对你的数据是有效的；如果重叠严重，说明需要微调而不是直接提取特征。这个方法不依赖任何外部工具，几分钟就能跑出一个粗略的分布图，这类可视化验证我每次换数据集都会做一次。

从那以后，我拿到任何 BERT 相关源码包，都会强制按「数据格式对齐 → 最小链路冒烟 → 参数收敛检查 → 迁移任务验证」的顺序走一遍。这个过程能挡住至少八成环境与数据层面的坑，希望帮到你。

本文还有配套的精品资源，点击获取