微博评论情感分析实战：LSTM+CNN+GloVe构建二分类模型-育师

做微博评论的情感分析，我最早是被一句"这个模型能不能判断用户骂没骂我们"给带进坑的。当时某公司想做舆情监控，人工看评论看得脑袋大，就想着能不能用深度学习自动把评论分成正面和负面两类。于是就有了这个项目：用LSTM+CNN的混合模型，配合GloVe预训练词向量，对微博评论做二分类情感分析。

这个项目说难不难，说简单也不简单。难在数据和工程细节，简单在模型结构其实就那么几块。如果你正在做文本分类、情感分析，或者想搞清楚LSTM和CNN到底怎么搭配，这篇内容应该能给你省不少弯路。我会把数据预处理、词向量加载、模型搭建、训练调参、踩坑记录全部摊开讲，代码也能直接拿去改。

1. 项目概述：这个二分类到底在解决什么问题

1.1 任务拆解与输入输出

先说清楚任务本身。微博评论情感分析，输入是一条长度不定的中文评论文本，输出是0或者1，0代表负面情绪，1代表正面情绪，这就是标准的二分类文本情感分析。

很多人觉得二分类太简单，其实不是。同样是"你行你上"，在不同语境下可能是讽刺也可能是真心夸赞；"无语"这个词，可能表达无奈，也可能带着强烈的负面情绪。词典匹配方法遇到这些情况基本就失效了，所以需要用模型去捕获上下文语义。

这个项目的输入输出可以这样描述：

输入：一条微博评论，比如"这家店的奶茶真好喝，下次还来"
输出：1（正面）
输入："客服态度差得要命，等了一个小时没人理"
输出：0（负面）

模型本质上是在学习一条评论里词语之间的组合模式，哪些词搭配出现通常代表正面，哪些搭配代表负面，以及整句话的语义倾向。

1.2 为什么是LSTM+CNN+GloVe这套组合

我在选型的时候其实纠结过好几套方案：纯LSTM、纯CNN、BERT、还有这个LSTM+CNN混合结构。最后选了混合结构，理由很实际。

先说CNN。处理文本的TextCNN用卷积核在词向量序列上滑动，能捕捉n-gram级别的局部特征。打个比方，一条评论里"太棒了"这三个字连在一起，CNN的卷积核扫过这块区域，就能提取出这个局部组合模式的特征。CNN的优势是快、能抓住关键局部信息。

再说LSTM。LSTM是循环神经网络，它按时间步逐个读取词向量，内部有遗忘门、输入门、输出门，能记住前面很远的信息。对于"虽然这家店环境一般，但是服务特别好"这种长句子，前文的"虽然"和后文的"但是"之间的转折关系，LSTM能更好的建模。缺点是训练慢，而且序列太长时早期信息会衰减。

两者结合的道理很朴素：CNN负责抓局部关键特征，LSTM负责建模序列依赖，各管一段。在一些文本分类任务上，这种组合确实比单独用其中一种要稳。不过我要提前说一句，不要指望模型效果翻倍，提升往往是几个百分点的F1，但胜在稳定。

GloVe则是词向量层面的选择。词向量就是用一个稠密向量表示一个词，让意思相近的词在向量空间中距离近。GloVe是全局词向量，它利用整个语料库的词共现统计信息来训练向量，对语义的刻画比简单的Word2Vec在某些场景下更好，尤其是处理中文这种一词多义不明显的语言时，稳定度还可以。用预训练词向量而不是随机初始化，相当于让模型在起步时就懂得"开心""高兴"是近义词，不用从零开始学词义，这对数据量不大的项目尤其重要。

2. 数据准备：决定模型上限的预处理环节

2.1 评论数据从哪来、怎么标注

有句话说得很对：模型的天花板是数据决定的，网络结构只是逼近这个天花板的方式。这个项目里我用的数据是某社交媒体平台公开评论文本，通过合规渠道采集了一批带话题标签的言论，数量大概在两万条左右。

但这里有个麻烦：采集到的原始评论大多没有情感标签。所以标注工作几乎占了整个项目三分之一的时间。我用的是半自动标注加人工抽检的方式：

先写一个基于情感词典的弱规则脚本，给评论打一个初版标签
然后人工逐条校正，特别是那些词典判不定的、含有反讽的、带有强烈口语色彩的评论
最后随机抽10%让另一位同学独立标注，算一致率

标注标准必须提前定死。我对正负面的定义是：评论者表达的情绪倾向为认可、满意、愉快、支持就算正面；表达不满、愤怒、失望、否定就算负面。中性评论（比如纯陈述、询问）在这个项目里直接过滤掉，因为二分类里硬塞中性样本会让模型学得非常混乱。

2.2 文本清洗与分词

清洗这一步，效果直接体现在后续的准确率上。微博评论的特点是噪音极大：表情符号、URL、@用户名、话题标签、英文字母乱码、繁体字混用、还有一堆"哈哈哈哈"这种无意义重复。

我的清洗顺序是这样的：

统一转为简体中文，避免繁简混用导致分词出错
去掉HTML标签和URL链接，这些对情感判断贡献不大
移除@用户名和话题标签，保留话题标签中的文字内容有时有用，但为了方便统一去掉
把英文字母、数字统一保留或替换成特殊标记，比如把数字替换成"NUM"
压缩重复字符，"好好好好好"压缩成"好"
去除表情符号，但这一步要小心，某些表情符号本身带情感，比如愤怒脸、爱心，实在想保留可以单独映射成"笑脸""哭脸"这种词

清洗完就是分词。中文没有空格分词问题，我用的jieba分词库，加载了自定义词典，把一些网络用语和品牌词加进去，比如"yyds""绝绝子""破防"这些，默认词典分不出来。分词之后去停用词，但这里有个经验：不要把所有停用词都删掉。像"不""没""别"这种否定词是情感判断的关键，"不"如果被停用词表删掉，"我不喜欢"就变成"我喜欢"，直接翻车。我只删标点、语气助词和纯粹的连接词。

2.3 序列化与定长处理

分词完成后，每条评论就是一个词列表。模型吃不了词，得先把词转成索引。做法是先统计全部语料的词频，保留出现次数大于等于2的词，构建一个词表，给每个词编号。

这里有个关键指标：序列长度。不同评论长度差异很大，短的几个字，长的几百字。直接全部喂进去会导致计算量巨大，而且大部分评论没那么长。我统计了一下语料中评论长度分布，发现95%的评论在100个字以内，所以把最大长度max_len定在80个词。

处理规则是：超过80个词的评论截断取前80个，不足80个的用0补齐。这个操作叫padding。补的位置可以放前面也可以放后面，对LSTM来说一般放在前面，让模型先看到真实内容再看到填充位。

最终每条评论变成形如[12, 45, 78, 0, 0, 0, ...]的整数数组，长度统一为80。这些整数索引后续会作为Embedding层的查询下标，直接查词向量表。

3. GloVe预训练词向量：让模型站在巨人的肩膀上

3.1 GloVe的词向量是怎么来的

很多新手直接用随机初始化的Embedding层，让模型自己学词向量。数据量大的时候没问题，但是微博评论这种几万条的小语料，根本学不出高质量词向量，很多词出现次数太少，向量学得很烂。

GloVe全称Global Vectors，它的核心思路是利用词共现矩阵的统计信息。什么意思呢？它在整个语料上统计每个词和它周围上下文词一起出现的频率，然后通过矩阵分解的方式，把这种共现概率关系压缩成低维稠密向量。这样学出来的向量，能够反映词与词之间的语义相似性和类比关系。经典的例子就是"国王"减去"男人"加上"女人"得到的向量接近"女王"。

对于中文，需要找在中文语料上训练好的GloVe词向量文件。我用的是某开源中文词向量库提供的300维向量，语料覆盖了新闻、百科、问答等多种文本。如果找不到现成的中文GloVe，用同样维度、语料质量好的Word2Vec也能凑合，原理不变，只是GloVe对全局统计信息利用得更充分。

3.2 加载与嵌入矩阵构建

拿到预训练词向量文件后，要构建一个嵌入矩阵，形状是(词表大小, 向量维度)。这个矩阵就是Embedding层的权重。

具体流程：

从词向量文件里读取每个词以及对应的300维浮点向量
遍历之前构建的词表，如果某个词在预训练词向量里存在，就把对应向量填进嵌入矩阵的对应行
如果词表里的词在预训练向量里不存在，就随机初始化一个小范围的值
增加一个特殊的"未知词"槽位，OOV词统一映射到这个槽位
增加一个"填充位"槽位，补齐用的0索引对应的向量全为0

加载代码大致长这样：

import numpy as np vocab_size = len(word_index) + 2 # 多留两个位置给PAD和UNK embedding_dim = 300 embedding_matrix = np.random.uniform(-0.05, 0.05, size=(vocab_size, embedding_dim)) # 填充位的向量置零 embedding_matrix[0] = np.zeros(embedding_dim) word2vec_path = 'glove_300d.txt' word_vec = {} with open(word2vec_path, 'r', encoding='utf-8') as f: for line in f: parts = line.strip().split() if len(parts) != embedding_dim + 1: continue word_vec[parts[0]] = np.asarray(parts[1:], dtype='float32') covered_count = 0 for word, idx in word_index.items(): if word in word_vec: embedding_matrix[idx] = word_vec[word] covered_count += 1 print('词表覆盖数：%d / %d' % (covered_count, vocab_size))

我当时的词表大约有5万个词，预训练向量覆盖了3万多个，覆盖率大概70%。剩下30%的词靠随机初始化，这些大多是专业术语、网络新词和人名。覆盖率不到80%也没问题，只要核心情感词汇覆盖到了，模型表现就不会太差。

3.3 OOV词的处理方案

OOV这个词在屏蔽词表里找不到对应向量，处理方式直接影响效果。先说最简单的方案：统一映射到UNK槽位，用同一个随机初始化的向量。坏处很明显，不同的未知词共用一个向量，等于模型以为它们是一个词，遇到"绝绝子"和"晦气"这种关键未知词时就分不清了。

我用的改进方案是subword思路的简化版：判断词是否在词表中，如果不在，就按字符拆分，每个字符单独查向量，然后取平均作为这个词的初始向量。这样至少能让OOV词带上部分语义信息。比如"奶茶店"整体不在词表里，但"奶""茶""店"这三个字的向量大概率存在，平均一下也能接近真实语义。

对于那些覆盖率实在上不去的情况，也可以考虑用更大规模的词向量文件，或者用fastText的subword方法，它能直接推断未登录词的向量。不过在我的项目里，平均字符向量的方案已经够用了，没多折腾。

4. 模型结构实战：LSTM与CNN怎么搭

4.1 整体网络结构

模型结构我采用的是串行为主、融合为辅的方式，具体来说：

第一层是Embedding层，加载之前构建好的嵌入矩阵，设置trainable=False冻结权重。这里有个取舍：预训练向量训练初期先冻结，等模型其他部分大致收敛后再解冻微调，防止刚开局就把学好的向量冲乱了
第二层是Conv1D卷积层，配合ReLU激活函数和GlobalMaxPooling1D。卷积核负责提取局部n-gram特征，全局最大池化负责对每个特征图取最显著响应
经过卷积池化后的序列，再接LSTM层做序列建模
LSTM的输出经过Dropout后，接一个全连接层，最后用Sigmoid输出一个0到1之间的概率值

其实这里有一个细节我得说明白。我试过两种接法：一种是先CNN再LSTM，另一种是CNN和LSTM并行提取特征后拼接。并行的结构理论上能同时拿到局部特征和序列特征，但参数量大、训练时间长，实测提升不明显。最终选的是先卷积再做LSTM，原因是卷积先压缩序列长度，LSTM处理起来更快，而且卷积提取的局部特征本身就是LSTM的输入序列，语义上有逐层抽象的效果。

模型概览可以用这段代码构建：

from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, Embedding, Conv1D, GlobalMaxPooling1D from tensorflow.keras.layers import LSTM, Dense, Dropout sequence_length = 80 embedding_dim = 300 vocab_size = embedding_matrix.shape[0] input_layer = Input(shape=(sequence_length,)) embedding_layer = Embedding( input_dim=vocab_size, output_dim=embedding_dim, weights=[embedding_matrix], trainable=True, mask_zero=False )(input_layer) # 第一路：CNN卷积池化 conv_block = Conv1D(filters=128, kernel_size=3, padding='same', activation='relu')(embedding_layer) pooled = GlobalMaxPooling1D()(conv_block) pooled = Dropout(0.3)(pooled) # 第二路：从词向量直接接LSTM lstm_block = LSTM(units=64, return_sequences=False, dropout=0.3, recurrent_dropout=0.3)(embedding_layer) # 将两路特征拼接 merged = Concatenate()([pooled, lstm_block]) output_layer = Dense(1, activation='sigmoid')(merged) model = Model(inputs=input_layer, outputs=output_layer) model.summary()

等一下，这里我其实改用了并行结构。别急着抄，我下面会解释为什么最终我调整成了另一种连接。上面代码里CNN分支和LSTM分支是并行的，各自从Embedding层接出去，最后拼接。这种结构能同时拿到局部特征和全局序列特征，是很经典的做法，很多论文都这么用。不过我在实际调参中发现，如果语料比较短（平均长度20词左右），并行的优势不明显，反而因为两个分支分别处理相同的嵌入序列，训练时间翻倍。所以后来又切回了先CNN后LSTM的串行结构。两种我都贴出来，你自己根据数据情况选。

串行版本的核心区别是把LSTM放在卷积池化之后：

input_layer = Input(shape=(sequence_length,)) embedding_layer = Embedding( input_dim=vocab_size, output_dim=embedding_dim, weights=[embedding_matrix], trainable=True )(input_layer) cnn_out = Conv1D(filters=128, kernel_size=3, padding='same', activation='relu')(embedding_layer) cnn_out = GlobalMaxPooling1D()(cnn_out) cnn_out = Dropout(0.3)(cnn_out) # 池化后维度变成 (batch, 128)，直接接Dense即可 output_layer = Dense(64, activation='relu')(cnn_out) output_layer = Dropout(0.3)(output_layer) output_layer = Dense(1, activation='sigmoid')(output_layer)

这个串行版本其实没有LSTM了，因为GlobalMaxPooling1D会把序列长度维度去掉，LSTM就没法接了。要真正做串行CNN+LSTM，得用MaxPooling1D保持序列维度，或者用Conv1D后不池化、直接接LSTM。我自己实测过的最优组合是：Embedding后接Conv1D，不用全局池化，而是让LSTM直接在卷积输出的序列上跑。

input_layer = Input(shape=(sequence_length,)) embedding_layer = Embedding(vocab_size, embedding_dim, weights=[embedding_matrix], trainable=True)(input_layer) # 卷积层：提取局部特征，保持序列长度不变（padding='same'） x = Conv1D(filters=64, kernel_size=5, padding='same', activation='relu')(embedding_layer) x = Dropout(0.3)(x) # 长短期记忆层：在卷积特征序列上建模上下文 x = LSTM(units=64, return_sequences=False, dropout=0.3, recurrent_dropout=0.3)(x) x = Dense(32, activation='relu')(x) x = Dropout(0.3)(x) output_layer = Dense(1, activation='sigmoid')(x)

最终线上跑的模型就是这套：Conv1D卷积核大小5、64个滤波器，LSTM 64个单元，然后接全连接层和Sigmoid输出。它在验证集上表现最稳定，训练速度也快。

4.2 核心参数选择与计算

参数不是拍脑袋定的，每个都做过小实验。我整理一下关键参数的选择原因：

卷积核大小：我试过3、5、7。核越小捕捉的局部模式越短，核越大越能抓长一点的词组。评论里最常见的正面词"太好喝""真不错"是3到5个字符，所以选了5
卷积滤波器数量：64比128效果反而好。滤波器多了容易过拟合，训练也慢，在小数据集上64个特征图足够
LSTM单元数：64个。这个没有特别神奇的原理，就是一个性价比权衡。128个单元参数量翻倍，验证集F1几乎没涨
Dropout：CNN后和LSTM内部都加了0.3的dropout。LSTM的recurrent_dropout也开了，但注意这会让训练变慢，如果太慢可以只保留普通dropout
序列长度：80，按照语料长度分布的95分位决定的
嵌入维度：300维，跟预训练词向量一致

这些参数在不同数据集上不是最优的，但作为起点很靠谱。我建议你复制这套参数跑通流程，再根据验证集表现调整，比从零开始猜要快得多。

4.3 关键代码实现

完整训练代码我放在一起，方便直接跑：

from sklearn.model_selection import train_test_split from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau from tensorflow.keras.optimizers import Adam X_train, X_val, y_train, y_val = train_test_split( X_padded, y_labels, test_size=0.2, random_state=42, stratify=y_labels ) model.compile( optimizer=Adam(learning_rate=1e-3), loss='binary_crossentropy', metrics=['accuracy'] ) callbacks = [ EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True), ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=2, min_lr=1e-5) ] history = model.fit( X_train, y_train, batch_size=64, epochs=30, validation_data=(X_val, y_val), callbacks=callbacks, verbose=1 )

训练结束后，用sklearn计算精确率、召回率和F1：

from sklearn.metrics import classification_report y_pred = (model.predict(X_val) > 0.5).astype(int) print(classification_report(y_val, y_pred, target_names=['负面', '正面']))

5. 训练过程与调参心得

5.1 损失函数、优化器与评估指标

二分类的标准损失函数是交叉熵。Keras里的binary_crossentropy配合Sigmoid输出，形式上等价于两个类别的交叉熵之和。模型输出一个0到1的概率值，大于0.5判为正面，小于等于0.5判为负面。

优化器我选了Adam，初始学习率1e-3。微博评论这种数据，特征空间比较稠密，版Adam的适应性学习率机制很适合。不用SGD的原因是收敛慢、对学习率敏感，新手容易被卡在局部最优。

评估指标不能只看准确率。我的正负样本比例大约是1.1比1，还算平衡，但如果你的数据不平衡，准确率就是虚的。我这里实际看的是三个指标：

精确率：模型判为正面的评论里，真正正面的比例
召回率：所有真正正面的评论里，被模型找出来的比例
F1：精确率和召回率的调和平均

线上模型最终在验证集上的表现：准确率约88%，F1约87%。这个水平对微博这种噪音极大的短文本来说，已经能投入实际使用了。

5.2 训练策略与防止过拟合

项目最怕的就是过拟合，训练集95%准确率，验证集70%，一看就是学过头了，把训练样本的噪音当成了规律。

我用了四层防线：

第一道防线是词向量微调策略。预训练词向量在训练初期冻结，前5个epoch只训练CNN、LSTM和全连接层，等模型结构学得差不多了，再解冻词向量层，跟着一起微调。冻结的好处是避免模型起步时把预训练向量改得面目全非。

第二道防线是Dropout。CNN后、LSTM内部、全连接前都加了dropout。我关掉dropout测过一次，验证集F1掉了将近5个百分点，说明在这个数据量下dropout非常重要。

第三道防线是早停。EarlyStopping监控验证集损失，连续5个epoch没有明显下降就停止，并且恢复最佳权重。通常我在第10到15个epoch之间触发早停，30个epoch的上限基本用不满。

第四道防线是数据层面。对训练集做了一点轻量回译增强，把评论翻译成英文再翻译回中文，生成一些同义变体。这个操作对提高泛化能力有帮助，尤其是对付那种训练集特有表达。

5.3 训练日志解读

看训练日志也能发现问题。正常的训练曲线应该是：训练损失和验证损失同步下降，中间有波动但趋势一致。如果出现验证损失先降后升，训练损失还在降，那就是过拟合的典型信号，该提前停了。

我记得最清楚的一次，训练到第8个epoch时验证准确率出现了一个小的跳变，原因是那批验证数据里碰巧有几条男性话题的评论。后来我把验证集重新分层抽样，保证正负样本比例均衡，这个问题就消失了。

还有一点值得注意：loss下降曲线不是平滑直线，而是一段一段台阶式下降。这是因为ReduceLROnPlateau在学习率减半时，损失会突然掉一截，然后再逐步下降。如果你看到这种台阶，说明调度器在正常干活，别慌。

6. 常见问题排查与避坑实录

6.1 词向量加载慢、内存爆掉

预训练词向量文件往往几百MB甚至几个GB，如果一次性全部读进内存，机器很容易卡死。我的经验是分两步：先只加载词表索引，构建词到行号的映射；然后使用矩阵存储方式，只把需要的词向量提取到numpy数组里。

我实际用过的方案是：先用一个字典读取文件，但只保留词表中出现的词，其他词直接跳过。这样内存占用从几个GB降到两百多MB。另一个偷懒的办法是，如果缺失词太多，直接用embedding_matrix对应行随机初始化，不必强行补齐所有向量。

6.2 训练集效果好、验证集拉胯

这是被问得最多的一个问题。除了过拟合，还有一个常见原因是分词不一致。训练时用的分词器和你验证时用的分词器版本不一致，会导致同一个词在训练和验证时被切成不同的粒度，词在词表里的索引对不上，模型自然泛化不了。

另外一个隐蔽问题是序列截断方向。我截断取的是前80个词，但微博评论的关键情感信息经常出现在后半段，比如"前面都挺好，但是后面太让人失望了"这种转折。如果你发现模型对转折句判断经常出错，可以把截断方向改成保留后80个词，或者做头尾拼接的截断方案。这是我踩过的一个大坑。

6.3 正负样本严重不均衡

如果你的语料里负面评论居多（比如某品牌的投诉评论区），模型会学出一个偷懒策略：全都判负面，因为这样准确率也很高。解决方式有三个等级：轻量级是给少数类样本加class_weight权重；中等级是过采样少数类，复制若干份补进训练集；重量级是用Focal Loss这类难样本挖掘损失函数。我在项目里用class_weight就够，因为正负比接近1比1。

6.4 预测结果全是同一类

模型训练完后测试，发现所有评论都输出0.8以上的概率，全判成正面。这种问题大多是标签与预处理不匹配。有一条惨痛教训：清洗时用正则把"哈哈"开头的一串重复字符压缩成了"哈"，但这东西在正面评论里大量出现，模型学了个"看到哈就倾向正面"的捷径。后来我把这种语气词单独抽出来做特征统计，而不是直接丢进词向量，问题才解决。

排查这类问题，先算预测概率分布，如果所有样本的概率集中在很小的区间，大概率是模型学到了某个跟标签高度相关的噪音特征。检查方式是把预测概率高的样本集中打印出来，一眼就能看出模型在依赖什么特征。

写在最后的几句体会

这个项目做完，我最深的感受是情感分析拼的不只是模型结构，数据和细节处理的权重远大于网络结构的调整。LSTM和CNN的搭配确实有效，GloVe也带来了稳定的语义初始化，但真正让模型从82%涨到88%的，是分词策略、截断方向、OOV处理这些润物细无声的改动。

如果你现在要复现这个项目，我给的建议是：先把数据管线跑通，固定住一切变量，只改模型结构对比一轮；然后把模型结构固定，去调数据处理细节再对比一轮，最后才轮到学习率和正则化。不要一上来就追求新模型，先把基线做扎实。后面想扩展的话，可以在二分类基础上改成多分类，加上情绪强度回归，或者引入注意力机制，都是很有意思的方向。但那是另一个故事了。