简介：这份资源是面向计算机相关专业学生与Python实战学习者的深度学习项目包，以LSTM为核心完成电商购物评论的情感分析任务，可直接用于毕业设计、课程设计或期末大作业。项目围绕京东商城购物评论展开，涵盖数据采集、中文分词与停用词处理、模型训练与预测等完整流程，并附有训练好的模型文件与说明文档，便于理解从原始评论到情感判定的实现思路。压缩包共39个文件，约164.29MB，其中8个py脚本承担爬虫与模型训练预测逻辑，6组data、index、meta文件为TensorFlow模型权重与图结构，另有checkpoint、model、cfg等配置，以及7张png结果图、3个txt说明和readme，目录结构清晰。目前已有404人学习下载，适合希望掌握LSTM文本分类、快速搭建可运行毕设项目的读者参考与二次开发。
1. 电商评论里的情绪，LSTM 到底能挖出什么
电商评论区的文本有一个特点：短、口语化、带反讽，还经常夹杂表情符号和错别字。你拿一条“质量还行，就是物流太慢了，等得我花儿都谢了”给传统词典方法，它大概率会判成正面，因为“质量还行”命中了正向词表。但人一眼就知道这条评论的情绪偏负面，核心诉求在“物流太慢”。这种上下文依赖的极性判断，正是 LSTM 在情感分析任务上的主战场。
这个项目标题指向的是一套完整的毕业设计交付物：基于 LSTM 的电商购物情感分析，包含源码和全部数据。它解决的核心问题是——把非结构化的用户评论文本，自动映射为正面、负面（或加上中性）的情感标签，并且能给出可复现的训练和推理流程。适合谁？正在做深度学习方向毕业设计的学生、想快速跑通一个 NLP 分类 pipeline 的初级算法工程师、以及需要给电商运营侧搭建评论监控原型的开发者。读完你应该能自己搭起从数据清洗到模型部署的完整链路，而不是只跑通一个 demo。
2. 数据到手先别急着喂模型：电商评论的清洗与标注策略
2.1 拿到原始数据后的第一轮体检
电商评论数据集通常以 CSV 或 JSON 格式存在，字段一般包括评论正文、评分（1-5 星）、时间戳、商品 ID。很多人拿到数据直接pd.read_csv然后就开始分词，这是翻车的起点。先做三件事：看类别分布、看文本长度分布、看缺失值比例。
import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv("ecommerce_reviews.csv") print("总样本数:", len(df)) print("评分分布:\n", df["rating"].value_counts().sort_index()) print("缺失值:\n", df.isnull().sum()) # 文本长度分布 df["text_len"] = df["review_text"].astype(str).str.len() print(df["text_len"].describe()) df["text_len"].hist(bins=50) plt.xlabel("评论字符数") plt.ylabel("频次") plt.show()这段代码的逻辑是：先确认标签是否均衡，再看文本长度是否在 LSTM 可处理的范围内。参数说明——value_counts().sort_index()按评分排序输出，方便你判断 1 星和 5 星是否严重不均衡；text_len用字符数而非分词后词数，是为了快速判断有多少条评论短于 5 个字（这类样本通常需要剔除或单独处理）。如果发现 5 星评论占 80% 以上，后续训练必须做类别加权或重采样，否则模型会倾向于全部预测为正面。
2.2 标签怎么定：二分类还是三分类
毕业设计里最常见的是二分类（正面/负面），把 4-5 星归为正，1-2 星归为负，3 星丢弃或归入中性。我的建议是：如果数据量在 5 万条以下，先做二分类，把 3 星样本剔除。原因是三分类的中性样本边界模糊，标注一致性差，模型很难学到稳定特征，最终 F1 会很难看。
# 二分类标签映射 def map_sentiment(rating): if rating >= 4: return 1 # 正面 elif rating <= 2: return 0 # 负面 else: return -1 # 中性，后续剔除 df["label"] = df["rating"].apply(map_sentiment) df = df[df["label"] != -1].reset_index(drop=True) print("清洗后样本数:", len(df)) print(df["label"].value_counts())逻辑说明：map_sentiment把评分映射为 0/1/-1，-1 代表中性。参数上，4 星及以上为正面是电商场景的常见做法，因为用户给 4 星通常表示整体满意但有小瑕疵。如果你的数据里 3 星占比很高（超过 20%），可以考虑保留并做三分类，但需要额外检查 3 星评论的文本是否真的中性。
2.3 文本清洗的四个必做步骤
电商评论的噪声来源很固定：HTML 标签、URL、表情符号、连续重复字符。清洗顺序应该是：去 HTML → 去 URL → 处理重复字符 → 保留中文和基本标点。
import re def clean_text(text): text = str(text) text = re.sub(r"<.*?>", "", text) # 去 HTML 标签 text = re.sub(r"http\S+|www\.\S+", "", text) # 去 URL text = re.sub(r"(.)\1{2,}", r"\1\1", text) # 连续重复字符压缩为两个 text = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9，。！？、；：]", "", text) # 保留中文、字母、数字和常用标点 return text.strip() df["clean_text"] = df["review_text"].apply(clean_text) df = df[df["clean_text"].str.len() >= 4].reset_index(drop=True) print("清洗后剩余:", len(df))参数说明：\1{2,}匹配连续出现 3 次及以上的同一字符，替换为两个，这样“好好好好”变成“好好”，既保留了强调语气又减少了噪声。最后一步过滤掉长度小于 4 的样本，是因为过短的评论（如“好”“差”）缺乏上下文，LSTM 学不到有效序列模式。注意，标点保留列表里没有保留英文标点，如果你的数据里有英文评论，需要把,和.加进去。
3. 从词向量到 LSTM：模型结构怎么搭才不白跑
3.1 词向量：训练还是预训练
这是第一个选型分叉点。如果你的数据量在 10 万条以上，可以用 Word2Vec 或 FastText 在自己的语料上训练词向量；如果数据量小，直接用预训练词向量效果更稳。毕业设计场景下，我一般会先用gensim在本地语料上训一个 100 维的 Word2Vec，原因是流程完整、可解释性强，答辩时好讲。
from gensim.models import Word2Vec import jieba # 分词 df["tokens"] = df["clean_text"].apply(lambda x: jieba.lcut(x)) # 训练词向量 w2v_model = Word2Vec( sentences=df["tokens"].tolist(), vector_size=100, # 词向量维度 window=5, # 上下文窗口 min_count=3, # 低于此频次的词丢弃 workers=4, # 并行线程数 epochs=10 # 训练轮数 ) w2v_model.save("word2vec.model") print("词表大小:", len(w2v_model.wv))逻辑说明：vector_size=100是中小规模语料的常用值，太大容易过拟合，太小表达力不足。window=5对评论类短文本足够，因为句子平均长度通常在 20-50 字。min_count=3过滤低频词，减少词表噪声。训练完后，词表大小决定了后续 Embedding 层的vocab_size。
3.2 构建词表并映射为索引序列
LSTM 的输入是整数序列，所以需要把每个词映射为词表中的索引。这里要处理两个问题：未登录词（OOV）和序列长度对齐。
from collections import Counter import numpy as np # 构建词表 all_tokens = [token for tokens in df["tokens"] for token in tokens] word_counts = Counter(all_tokens) vocab = {word: idx + 2 for idx, (word, _) in enumerate(word_counts.most_common(20000))} vocab["<PAD>"] = 0 vocab["<UNK>"] = 1 # 序列映射 def tokens_to_ids(tokens, vocab, max_len=128): ids = [vocab.get(token, vocab["<UNK>"]) for token in tokens] if len(ids) < max_len: ids = ids + [vocab["<PAD>"]] * (max_len - len(ids)) else: ids = ids[:max_len] return ids df["input_ids"] = df["tokens"].apply(lambda x: tokens_to_ids(x, vocab)) print("词表大小:", len(vocab)) print("样本序列示例:", df["input_ids"].iloc[0][:20])参数说明：most_common(20000)只保留最高频的 2 万个词，其余归入<UNK>。max_len=128是截断长度，覆盖 95% 以上的评论长度即可，具体值要看 2.1 节的长度分布。<PAD>的索引设为 0，后续在 Embedding 层要用padding_idx=0屏蔽掉。
3.3 LSTM 模型结构：几层、多少隐藏单元
这是最容易被问到的部分。我的经验是：电商评论情感分析，单层 LSTM + 全连接输出就够了，隐藏单元 128 或 256。双层 LSTM 在小数据集上提升不明显，反而增加过拟合风险。
import torch import torch.nn as nn class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes, pretrained_emb=None): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) if pretrained_emb is not None: self.embedding.weight.data.copy_(pretrained_emb) self.lstm = nn.LSTM( input_size=embed_dim, hidden_size=hidden_dim, num_layers=1, batch_first=True, bidirectional=True, dropout=0.3 ) self.fc = nn.Linear(hidden_dim * 2, num_classes) self.dropout = nn.Dropout(0.3) def forward(self, x): emb = self.embedding(x) # (batch, seq_len, embed_dim) lstm_out, (h_n, _) = self.lstm(emb) # lstm_out: (batch, seq_len, hidden*2) # 取最后一个时间步的正反向拼接 last_hidden = torch.cat([h_n[-2], h_n[-1]], dim=1) # (batch, hidden*2) out = self.dropout(last_hidden) return self.fc(out)逻辑说明：bidirectional=True让模型同时看到前后文，对反讽和转折句特别有效。h_n[-2]和h_n[-1]分别取正向和反向最后一层的隐藏状态，拼接后送入全连接。dropout=0.3放在 LSTM 和全连接之间，是防止过拟合的常规操作。参数上，embed_dim要和词向量维度一致（这里是 100），hidden_dim建议从 128 起步，如果验证集准确率上不去再调到 256。
3.4 训练循环与关键超参数
训练部分的核心是：损失函数用 CrossEntropyLoss，优化器用 Adam，学习率 1e-3，batch size 64 或 128。如果类别不均衡，给损失函数加weight参数。
from torch.utils.data import DataLoader, TensorDataset # 准备数据 X = torch.tensor(df["input_ids"].tolist(), dtype=torch.long) y = torch.tensor(df["label"].tolist(), dtype=torch.long) dataset = TensorDataset(X, y) loader = DataLoader(dataset, batch_size=64, shuffle=True) # 类别权重 class_counts = df["label"].value_counts().sort_index().values class_weights = torch.tensor(1.0 / class_counts, dtype=torch.float) class_weights = class_weights / class_weights.sum() model = LSTMClassifier(vocab_size=len(vocab), embed_dim=100, hidden_dim=128, num_classes=2) criterion = nn.CrossEntropyLoss(weight=class_weights) optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(10): model.train() total_loss = 0 for batch_x, batch_y in loader: optimizer.zero_grad() logits = model(batch_x) loss = criterion(logits, batch_y) loss.backward() optimizer.step() total_loss += loss.item() print(f"Epoch {epoch+1}, Loss: {total_loss/len(loader):.4f}")参数说明：class_weights取类别频次的倒数并归一化，让少数类获得更高权重。lr=1e-3是 Adam 的常用起点，如果 loss 震荡明显降到 5e-4。batch_size=64在 5 万条数据上大约每轮 780 个 batch，训练时间可控。注意，这里没有写验证集逻辑，实际跑的时候每轮结束后要在验证集上算准确率和 F1，防止过拟合。
4. 避坑指南：电商情感分析里最容易翻车的五个地方
4.1 现象：模型在训练集上准确率 99%，验证集只有 70%
原因：最常见的是数据泄漏。你在划分训练集和验证集之前就做了词表构建或词向量训练，导致验证集的词汇信息进入了训练过程。另一个原因是模型参数量远大于数据量，LSTM 隐藏单元给到了 512 甚至 1024。
解决：先划分数据集，再在训练集上构建词表和训练词向量。验证集和测试集用训练集的词表做映射，未登录词统一走<UNK>。模型方面，把hidden_dim降到 128，加 dropout 到 0.4，观察验证集 loss 是否还持续上升。
4.2 现象：负面评论的召回率极低，几乎全预测为正面
原因：类别不均衡。电商评论里正面通常占 70%-80%，模型学到“全猜正面”就能拿到高准确率，但负面样本几乎全漏。这是最隐蔽的坑，因为准确率看起来不差。
解决：除了 3.4 节的类别加权，还可以在 DataLoader 里用WeightedRandomSampler做重采样。另外，评估指标不要只看准确率，重点看负面类的 F1 和召回率。如果负面召回低于 0.6，说明模型没有真正学到负面特征。
4.3 现象：推理时遇到新词，模型输出完全随机
原因：推理阶段的文本经过分词后，如果某个词不在训练词表里，会被映射为<UNK>。如果一条评论里超过 30% 的词都是<UNK>，模型相当于在看噪声。
解决：在 3.2 节构建词表时，min_count不要设太高，3 或 2 都可以。另外可以在推理前做一个检查：统计输入序列中<UNK>的比例，超过 0.3 就给出低置信度提示，而不是硬输出一个标签。
4.4 现象：训练 loss 正常下降，但验证 loss 从第 3 轮开始上升
原因：过拟合。LSTM 在中小规模数据上很容易记住训练样本的序列模式，尤其是当max_len设得过大（比如 256），模型会学到很多 padding 位置的噪声。
解决：把max_len降到 128 或 96，确保覆盖 95% 的样本即可。加早停策略：验证 loss 连续 3 轮不下降就停止训练，保存验证集上 F1 最高的模型权重。另外，dropout 可以调到 0.4-0.5。
4.5 现象：同一批数据，两次训练结果差异很大
原因：随机种子没有固定。PyTorch 的权重初始化、DataLoader 的 shuffle、dropout 的随机掩码都会引入随机性。如果不固定种子，复现实验结果会很困难。
解决：在训练脚本开头固定所有随机种子。
import random import numpy as np import torch def set_seed(seed=42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False set_seed(42)注意，cudnn.deterministic = True会略微降低训练速度，但换来的是可复现性。毕业设计答辩时，评委让你现场跑一遍，结果一致会加分很多。
5. 让模型真正能用的三个进阶技巧
5.1 用注意力池化替代最后时间步
3.3 节里我取的是 LSTM 最后一个时间步的隐藏状态。这个做法在短文本上够用，但电商评论里关键情感词可能出现在任何位置。比如“物流慢得要死，但是东西真的好”，关键正面词在“东西真的好”，如果只取最后时间步，模型可能被前面的负面表达带偏。
一个实用的改进是加注意力池化：对 LSTM 所有时间步的输出做加权求和，权重由一个小型全连接层学习。
class LSTMWithAttention(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True, bidirectional=True) self.attn = nn.Linear(hidden_dim * 2, 1) self.fc = nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): emb = self.embedding(x) lstm_out, _ = self.lstm(emb) # (batch, seq_len, hidden*2) attn_weights = torch.softmax(self.attn(lstm_out), dim=1) # (batch, seq_len, 1) context = torch.sum(attn_weights * lstm_out, dim=1) # (batch, hidden*2) return self.fc(context)逻辑说明：self.attn把每个时间步的输出映射为一个标量分数，softmax 归一化后得到权重，再对 LSTM 输出加权求和。这样模型可以自动关注到“真的好”这几个词，而不是被“慢得要死”主导。参数上，注意力层没有额外超参数，hidden_dim保持 128 即可。实测在 5 万条数据上，负面类 F1 通常能提升 3-5 个百分点。
5.2 用混淆矩阵和分类报告做最终验证
训练结束后，不要只看一个准确率数字。在测试集上跑一遍，输出混淆矩阵和 sklearn 的 classification_report。
from sklearn.metrics import confusion_matrix, classification_report model.eval() all_preds = [] with torch.no_grad(): for batch_x, _ in DataLoader(TensorDataset(X_test), batch_size=128): logits = model(batch_x) preds = torch.argmax(logits, dim=1) all_preds.extend(preds.numpy()) print(confusion_matrix(y_test.numpy(), all_preds)) print(classification_report(y_test.numpy(), all_preds, target_names=["负面", "正面"]))重点看负面类的召回率和 F1。如果负面召回低于 0.7，回到 4.2 节检查类别权重和采样策略。混淆矩阵还能告诉你，有多少负面样本被误判为正面——这些样本的文本值得单独抽出来看，往往是反讽或混合情感，是后续优化的方向。
5.3 推理部署：把模型封装成一个可调用的接口
毕业设计如果只停在训练脚本，答辩时容易被问“怎么用”。最简单的做法是用 Flask 或 FastAPI 包一个推理接口。
from fastapi import FastAPI from pydantic import BaseModel import jieba app = FastAPI() model.eval() class ReviewRequest(BaseModel): text: str @app.post("/predict") def predict(req: ReviewRequest): tokens = jieba.lcut(clean_text(req.text)) ids = tokens_to_ids(tokens, vocab, max_len=128) tensor = torch.tensor([ids], dtype=torch.long) with torch.no_grad(): logits = model(tensor) prob = torch.softmax(logits, dim=1) pred = torch.argmax(prob, dim=1).item() return { "sentiment": "正面" if pred == 1 else "负面", "confidence": round(prob[0][pred].item(), 4) }逻辑说明：接口接收原始评论文本，内部走完整的清洗、分词、映射、推理流程，返回情感标签和置信度。参数上，max_len必须和训练时一致，否则序列长度不匹配会导致维度错误。置信度低于 0.6 的样本建议人工复核，这在电商评论监控场景里很实用。
最后说一个我自己的习惯：每次跑完实验，不管结果好坏，我都会把当次的超参数、验证集 F1、负面召回率记在一个表格里。翻车的时候回头看，往往能发现是某次改了max_len或者忘了固定种子。这个习惯帮我省了很多后悔药。希望帮到你。
本文还有配套的精品资源，点击获取
