简介：这是一套面向计算机相关专业学生与项目实战学习者的深度学习课程设计资料，围绕电影评论情感分析展开，可用于课程设计、期末大作业或自学练手。资源包共14个文件，约21.28MB，包含3个ipynb实验笔记、1个py脚本、4个csv数据集、4个txt文本、1份pdf总结报告和1份pptx演示文稿，覆盖数据采集、模型训练与测试的完整流程。内容预览显示，项目以豆瓣电影评论为数据来源，涉及爬虫抓取、数据清洗、模型训练与测试等环节，报告与演示文稿可直接用于答辩展示。目前已有287人学习下载，适合希望快速搭建情感分析项目、理解深度学习文本分类流程的读者参考，也可作为课程设计模板进行二次修改。
1. 电影评论情感分析项目：从数据到模型，一套能跑通的深度学习实战路径
做 NLP 入门，很多人卡在“跑通了 MNIST，但不知道真实文本怎么处理”。电影评论情感分析恰好是那个最合适的跳板——数据量适中、标签清晰、业务价值直观。这个 Python 项目实战的核心，是用深度学习把一段影评自动判成正面或负面，交付物包括可运行的源码和一份完整的实验报告 PDF。它适合正在学 Python 和深度学习、想找一个端到端项目练手的人，也适合需要快速搭建文本分类基线、再往多模态情感分析方向延伸的工程师。整条链路覆盖数据清洗、分词、词向量、模型训练、评估和推理，每一步都有明确的参数和踩坑点。下面按实际落地顺序拆开讲，源码结构、关键代码和报告里该写什么，都会给到可抄的细节。
2. 数据准备与预处理：IMDB 数据集怎么清洗、分词和建词表
2.1 为什么选 IMDB 而不是中文影评数据集
电影评论情感分析最常用的公开数据集是 IMDB Large Movie Review Dataset，包含 5 万条标注为正面或负面的英文影评，训练集和测试集各 2.5 万条，正负样本均衡。选它有三个现实理由：第一，标签质量高，不会因为标注噪声导致模型学偏；第二，文本长度分布广，短则几十词、长则上千词，能真实检验截断策略；第三，社区里基于这个数据集的基线结果多，你跑出 85% 准确率时能快速判断是模型问题还是数据问题。
如果换成中文影评，比如豆瓣评论，预处理会多出分词工具选型和停用词表维护的工作量，对第一次做端到端项目的人来说，容易在数据环节消耗过多精力。常见做法是先用 IMDB 把流程跑通，再把同一套代码迁移到中文数据上，只替换分词和词表构建部分。
2.2 从原始文本到模型输入的完整预处理链
原始影评里混着 HTML 标签、标点、大小写和换行，直接喂给模型会引入大量无效特征。下面这段预处理代码覆盖了清洗、分词、截断和词表构建，可以直接放进data_preprocess.py。
import re import os from collections import Counter def clean_text(text): # 去掉 HTML 标签，IMDB 原始数据里 <br /> 很常见 text = re.sub(r'<[^>]+>', ' ', text) # 只保留字母和基本标点，数字和特殊符号对情感判断贡献低 text = re.sub(r'[^a-zA-Z\s]', ' ', text) text = text.lower().strip() return text def tokenize(text): # 按空白切分，英文影评足够用；中文场景换成 jieba.lcut return text.split() def build_vocab(tokenized_texts, max_vocab=20000, min_freq=2): counter = Counter() for tokens in tokenized_texts: counter.update(tokens) # 保留频率最高的词，低频词统一映射为 <unk> vocab = {'<pad>': 0, '<unk>': 1} for word, freq in counter.most_common(max_vocab): if freq >= min_freq: vocab[word] = len(vocab) return vocab def encode(tokens, vocab, max_len=256): ids = [vocab.get(tok, vocab['<unk>']) for tok in tokens] if len(ids) < max_len: ids = ids + [vocab['<pad>']] * (max_len - len(ids)) else: ids = ids[:max_len] return idsclean_text里先删 HTML 再删非字母字符，顺序不能反，否则<br />会被拆成br留在文本里。max_vocab=20000是经验值，IMDB 词表约 10 万，截到 2 万覆盖了绝大多数高频情感词，同时控制嵌入层参数量。min_freq=2过滤只出现一次的词，减少噪声。max_len=256是截断长度，影评平均长度在 200 词左右，256 能保留大部分信息，显存占用也可控。如果发现测试集准确率明显低于训练集，优先检查<unk>比例，超过 5% 说明词表太小或min_freq太高。
2.3 训练集/验证集划分与类别平衡检查
IMDB 官方已经分好训练集和测试集，但训练过程中需要验证集来早停。常见做法是从 2.5 万条训练数据里划出 10% 做验证，保持正负比例一致。
import random def split_train_val(texts, labels, val_ratio=0.1): indices = list(range(len(texts))) random.seed(42) random.shuffle(indices) val_size = int(len(indices) * val_ratio) val_idx = indices[:val_size] train_idx = indices[val_size:] train_texts = [texts[i] for i in train_idx] train_labels = [labels[i] for i in train_idx] val_texts = [texts[i] for i in val_idx] val_labels = [labels[i] for i in val_idx] return train_texts, train_labels, val_texts, val_labelsrandom.seed(42)保证每次划分一致，方便复现。划分后打印一下正负样本数，如果偏差超过 2%，说明原始数据顺序有偏，需要先整体打乱再划。这一步在报告 PDF 里要放一张类别分布柱状图，评审时一眼能看出数据是否均衡。
3. 模型搭建：用 CNN 和 LSTM 做文本情感分类的选型与实现
3.1 为什么先上 TextCNN 而不是直接 BERT
TextCNN 在电影评论情感分析这类任务上，用很小的参数量就能拿到 85% 以上的准确率，训练一轮在单卡上只要几十秒。它的核心思想是用不同尺寸的卷积核捕捉局部 n-gram 特征，比如“not good”这种否定搭配，3 元卷积核就能覆盖。相比之下，BERT 微调虽然能到 92% 以上，但需要 GPU 显存至少 8GB，训练时间以小时计，对第一次做项目的人来说，调试成本太高。
我一般会先用 TextCNN 跑一个基线，确认数据管道没问题，再换 LSTM 或 BERT 做对比。这样报告里能呈现一个清晰的性能递进，而不是只有一个孤零零的最终结果。
3.2 TextCNN 的 PyTorch 实现与关键参数
下面是一个可直接训练的 TextCNN 模型，嵌入层用随机初始化，训练中一起更新。
import torch import torch.nn as nn import torch.nn.functional as F class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim=128, num_filters=100, filter_sizes=(3, 4, 5), num_classes=2, dropout=0.5): super().__init__() # padding_idx=0 让 <pad> 的嵌入向量不参与梯度更新 self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) # 三个不同尺寸的卷积核，每个输出 num_filters 个特征图 self.convs = nn.ModuleList([ nn.Conv2d(1, num_filters, (fs, embed_dim)) for fs in filter_sizes ]) self.dropout = nn.Dropout(dropout) self.fc = nn.Linear(num_filters * len(filter_sizes), num_classes) def forward(self, x): # x: (batch, seq_len) emb = self.embedding(x) # (batch, seq_len, embed_dim) emb = emb.unsqueeze(1) # (batch, 1, seq_len, embed_dim) conv_outs = [] for conv in self.convs: c = F.relu(conv(emb)) # (batch, num_filters, seq_len-fs+1, 1) c = c.squeeze(3) c = F.max_pool1d(c, c.size(2)).squeeze(2) # 全局最大池化 conv_outs.append(c) out = torch.cat(conv_outs, dim=1) out = self.dropout(out) return self.fc(out)embed_dim=128是文本分类的常用起点，词表 2 万时嵌入层参数量约 256 万，显存占用小。num_filters=100表示每个卷积核尺寸输出 100 个特征图，三个尺寸共 300 维特征。filter_sizes=(3,4,5)覆盖三元到五元短语，能捕捉“waste of time”这类固定搭配。dropout=0.5在全连接层前丢弃一半神经元，防止过拟合。如果验证集 loss 震荡大，先把 dropout 降到 0.3 试试。
3.3 LSTM 版本与 CNN 的对比实验设计
LSTM 适合捕捉长距离依赖，比如影评前半句肯定、后半句转折的情况。但训练速度比 CNN 慢，且容易梯度消失。下面是一个双向 LSTM 的关键部分。
class BiLSTM(nn.Module): def __init__(self, vocab_size, embed_dim=128, hidden_dim=128, num_layers=2, num_classes=2, dropout=0.5): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.lstm = nn.LSTM(embed_dim, hidden_dim, num_layers, batch_first=True, bidirectional=True, dropout=dropout if num_layers > 1 else 0) self.dropout = nn.Dropout(dropout) self.fc = nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): emb = self.embedding(x) out, _ = self.lstm(emb) # 取最后一个时间步的正反向拼接 out = out[:, -1, :] out = self.dropout(out) return self.fc(out)hidden_dim=128配合双向，输出维度 256。num_layers=2时 LSTM 内部会加 dropout，但只有层数大于 1 才生效。取最后一个时间步在情感分类里通常比平均池化略好，因为句尾往往包含总结性判断。报告里建议把 CNN 和 LSTM 的准确率、F1、训练时间放同一张表对比，结论会更扎实。
4. 训练、评估与推理：把模型跑起来并验证效果
4.1 训练循环里的三个必调参数
训练代码本身不复杂，但学习率、batch size 和早停耐心值直接决定你能不能复现出报告里的结果。
from torch.utils.data import DataLoader, TensorDataset import torch.optim as optim def train_model(model, train_loader, val_loader, epochs=10, lr=1e-3, patience=3): device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.to(device) optimizer = optim.Adam(model.parameters(), lr=lr) criterion = nn.CrossEntropyLoss() best_val_acc = 0.0 wait = 0 for epoch in range(epochs): model.train() for x, y in train_loader: x, y = x.to(device), y.to(device) optimizer.zero_grad() logits = model(x) loss = criterion(logits, y) loss.backward() # 梯度裁剪防止 LSTM 梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0) optimizer.step() val_acc = evaluate(model, val_loader, device) print(f'Epoch {epoch+1}, Val Acc: {val_acc:.4f}') if val_acc > best_val_acc: best_val_acc = val_acc torch.save(model.state_dict(), 'best_model.pt') wait = 0 else: wait += 1 if wait >= patience: print('Early stopping') break return best_val_acclr=1e-3是 Adam 的经典起点，如果 loss 在前两轮就变成 nan，降到 1e-4。patience=3表示验证集准确率连续 3 轮不提升就停，避免过拟合。clip_grad_norm_的max_norm=5.0对 LSTM 尤其重要，不加的话梯度爆炸会让 loss 直接飞掉。batch size 建议 64 或 128，显存不够就减半，但太小会导致训练不稳定。
4.2 评估指标：准确率之外还要看什么
电影评论情感分析如果只看准确率，遇到类别不均衡时会失真。IMDB 虽然均衡，但报告里加上精确率、召回率和 F1 会更专业。
from sklearn.metrics import classification_report, confusion_matrix def evaluate(model, loader, device): model.eval() all_preds, all_labels = [], [] with torch.no_grad(): for x, y in loader: x, y = x.to(device), y.to(device) logits = model(x) preds = torch.argmax(logits, dim=1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(y.cpu().numpy()) acc = sum(p == l for p, l in zip(all_preds, all_labels)) / len(all_labels) print(classification_report(all_labels, all_preds, target_names=['neg', 'pos'])) print(confusion_matrix(all_labels, all_preds)) return accclassification_report会输出每个类别的 precision、recall、f1-score。如果负面类召回率明显低，说明模型偏向预测正面，需要检查训练集里负面样本是否被截断得太厉害。混淆矩阵能看出具体有多少条被错分，报告里放一张热力图，比单纯写准确率有说服力。
4.3 推理脚本：加载模型并对新评论打分
训练完要把模型用起来，下面是一个最小推理脚本。
def predict(text, model, vocab, max_len=256): model.eval() tokens = tokenize(clean_text(text)) ids = encode(tokens, vocab, max_len) tensor = torch.tensor([ids], dtype=torch.long) device = next(model.parameters()).device tensor = tensor.to(device) with torch.no_grad(): logits = model(tensor) prob = torch.softmax(logits, dim=1) pred = torch.argmax(prob, dim=1).item() label = 'positive' if pred == 1 else 'negative' return label, prob[0][pred].item() # 示例 # label, confidence = predict("This movie is a masterpiece.", model, vocab) # print(label, confidence)推理时一定要复用训练阶段的clean_text、tokenize、encode和vocab，否则输入分布不一致，结果会莫名其妙。torch.softmax输出的置信度可以设阈值，比如低于 0.6 的样本标记为“不确定”，在实际业务里能减少误判。
5. 避坑与排查：电影评论情感分析项目里最容易翻车的 5 个点
5.1 损失值不下降，准确率卡在 50%
现象：训练几轮后 loss 几乎不变，验证准确率在 0.5 附近波动。原因通常是标签没对齐，比如正面标签映射成了 0 但模型输出顺序反了，或者数据加载时x和y错位。解决：先取一个 batch 打印前几条文本和标签，人工确认；再检查CrossEntropyLoss的输入 logits 维度是(batch, num_classes)，标签是(batch,)且取值在[0, num_classes-1]。
5.2 验证集准确率远低于训练集
现象：训练集到 95%，验证集只有 75%。原因一般是过拟合，或者训练集和验证集划分时没有打乱导致分布不一致。解决：先加 dropout 和权重衰减，再把max_len从 512 降到 256 减少噪声，最后检查验证集是否混入了训练集样本。如果用了预训练词向量，确认词表映射没有把验证集词汇大量映射成<unk>。
5.3 中文影评迁移时分词结果全是单字
现象：把英文代码直接套到中文数据上，text.split()把每个汉字切成一个 token，模型学不到词级语义。原因是没有换分词工具。解决：引入jieba，把tokenize改成jieba.lcut(text)，同时停用词表要重新维护，英文的停用词表对中文无效。词表大小也要调整，中文常用词量比英文低，max_vocab可以降到 15000。
5.4 GPU 显存溢出但 batch size 已经很小
现象：CUDA out of memory，但 batch size 降到 16 还是报错。原因可能是max_len设得太大，或者 LSTM 的num_layers和hidden_dim乘积过高。解决：先打印一个 batch 的实际张量形状，确认seq_len没有超过预期；再把hidden_dim从 256 降到 128，或者把num_layers从 3 降到 2。如果还不行，用梯度累积模拟大 batch。
5.5 报告 PDF 里结果无法复现
现象：报告里写了准确率 88%，但别人跑源码只有 82%。原因通常是随机种子没固定，或者数据划分方式没写清楚。解决：在训练脚本开头固定torch.manual_seed(42)、random.seed(42)、numpy.random.seed(42)，并把数据划分的val_ratio和seed写进报告。如果用了预训练词向量，把词向量文件版本和下载来源也标注清楚。
6. 从单模型到多模态：把电影评论情感分析再往前推一步
单文本情感分析做到 88% 左右，再往上提升空间有限。实际业务里，电影评论往往伴随评分、点赞数、甚至预告片片段，把这些信号融合进来就是多模态情感分析。一个低成本的做法是：文本用 TextCNN 输出 300 维特征，数值特征（评分、时长）归一化后接一个全连接层输出 32 维，两者拼接后过一层全连接做二分类。这样不用改文本模型，只加一个分支就能把准确率再拉 2 到 3 个百分点。
class MultimodalModel(nn.Module): def __init__(self, text_model, num_numeric=3, num_classes=2): super().__init__() self.text_model = text_model # 冻结文本模型前几层，只微调最后全连接 for param in list(self.text_model.parameters())[:-2]: param.requires_grad = False self.numeric_fc = nn.Sequential( nn.Linear(num_numeric, 32), nn.ReLU(), nn.Dropout(0.3) ) self.classifier = nn.Linear(300 + 32, num_classes) def forward(self, text_x, numeric_x): text_feat = self.text_model(text_x) # 取 TextCNN 全连接前的 300 维 num_feat = self.numeric_fc(numeric_x) combined = torch.cat([text_feat, num_feat], dim=1) return self.classifier(combined)这里的关键是文本模型输出层要改成返回 300 维特征而不是直接分类，数值分支的num_numeric根据你手头有多少个额外字段来定。训练时文本分支用较小的学习率（比如 1e-4），数值分支用 1e-3，避免预训练特征被快速破坏。验证方法和单模型一样，但报告里要加一组消融实验：只用文本、只用数值、两者融合，三行结果放一起，融合带来的增益一目了然。
我自己做这类项目最大的教训是：别一上来就堆模型。先把数据管道和评估指标跑通，哪怕准确率只有 80%，后面每一步改进都有基线可对比。源码和报告 PDF 的价值不在于模型多复杂，而在于每一步都有记录、能复现、能解释为什么这么选。希望帮到你。
本文还有配套的精品资源，点击获取
