豆瓣评论情感分析与词云实战：SnowNLP 中文 NLP 流水线-育师

简介：这份资源面向Python数据挖掘初学者与自然语言处理入门者，围绕豆瓣《肖申克的救赎》评论文本，演示如何调用SnowNLP库完成情感分析，并配合词云与分词处理，帮助读者建立从文本读取、中文分词到情感倾向判定的完整思路，适合作为课程实验或自学练手素材。压缩包共10个文件，以8个py脚本为主，覆盖豆瓣评论读取、分词、SnowNLP多版本调用等环节，另含1个csv评论数据与1个txt文本，整体约37KB，轻量易运行。目前已有16945人学习下载，说明该案例在入门群体中认可度较高。读者可据此复现情感分析流程，理解SnowNLP打分机制，并在此基础上迁移到其他评论语料，完成词云可视化与结果解读，为后续文本挖掘项目提供可复用的脚本参考与排错思路。

1. 豆瓣评论 + SnowNLP：一条能跑通的情感分析与词云流水线

豆瓣短评是中文互联网里少有的、带评分标签又带真实文本的语料池。做情感分析练手，它比公开英文数据集更贴地气，因为你会立刻撞上反讽、缩写、表情符号和「一星护体」这类真实噪声。SnowNLP 是一个轻量级中文情感分析库，开箱即用，对每条评论输出 0 到 1 之间的情感概率，配合 jieba 分词和 wordcloud 就能把「观众到底在夸什么、骂什么」画出来。这套方案适合两类人：一是想快速拿到一个能跑通的中文 NLP 小项目的新手，二是需要给产品评论做粗粒度正负向分流的工程师。它不追求 SOTA 精度，追求的是两小时内从原始评论到可视化结论的闭环。下面按数据获取、情感打分、词云生成、避坑、进阶的顺序讲透。

2. 数据从哪来：豆瓣短评的采集边界与清洗

2.1 采集前先想清楚的三件事

动手写爬虫之前，有三个现实约束必须先接受。第一，豆瓣对未登录请求和频繁请求有访问限制，短评页在翻到一定页数后会要求登录或直接返回空列表，所以别指望一次抓几万条，几百到两千条足够做情感分布和词云。第二，短评文本里混着大量非评论文本，比如「有用」「回应」「举报」这类界面词，以及用户昵称、时间戳，清洗时必须剔除。第三，评分星级和文本情感并不总是一致，有人打五星写「还行」，有人打一星写「年度最佳」，这正是后面要观察的噪声来源。

常见做法是用 requests 加合理的请求间隔，抓取短评的评论文本和星级两个字段，存成 CSV。不要用多线程猛冲，一是容易被限制，二是几百条数据根本不需要并发。我一般会设置每次请求间隔 1 到 2 秒，并且只抓前 20 页左右。

2.2 采集与清洗的最小代码

import requests import time import csv import re from bs4 import BeautifulSoup HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36" } def fetch_comments(movie_id, start=0, limit=20): """抓取指定电影的一页短评，返回 (文本, 星级) 列表""" url = f"https://movie.douban.com/subject/{movie_id}/comments" params = {"start": start, "limit": limit, "status": "P", "sort": "new_score"} resp = requests.get(url, headers=HEADERS, params=params, timeout=10) if resp.status_code != 200: return [] soup = BeautifulSoup(resp.text, "html.parser") items = [] for node in soup.select("div.comment-item"): text_node = node.select_one("span.short") star_node = node.select_one("span.rating") if not text_node: continue text = text_node.get_text(strip=True) # 星级形如 "allstar50 rating"，取数字部分 star = 0 if star_node: cls = " ".join(star_node.get("class", [])) m = re.search(r"allstar(\d+)", cls) if m: star = int(m.group(1)) // 10 # 50 -> 5 items.append((text, star)) return items def clean_text(text): """去掉多余空白和表情占位符""" text = re.sub(r"\s+", " ", text) text = re.sub(r"\[.*?\]", "", text) # 去掉 [图片] [音乐] 之类 return text.strip() if __name__ == "__main__": movie_id = "1292052" # 举例用的条目 ID，换成你要分析的 rows = [] for page in range(0, 200, 20): batch = fetch_comments(movie_id, start=page) if not batch: break for text, star in batch: rows.append((clean_text(text), star)) time.sleep(1.5) # 控制频率，别把对方打疼 with open("comments.csv", "w", newline="", encoding="utf-8-sig") as f: writer = csv.writer(f) writer.writerow(["comment", "star"]) writer.writerows(rows) print(f"共抓取 {len(rows)} 条")

这段代码的逻辑分三层：fetch_comments负责发请求和解析 HTML，clean_text负责文本规整，主流程负责翻页和落盘。参数上，start是偏移量，每次加 20；limit固定 20，这是豆瓣短评页的默认每页条数；time.sleep(1.5)是请求间隔，低于 1 秒会明显提高被限制的概率。星级解析用正则从 class 名里抠数字，因为豆瓣把星级编码在allstar50这种类名里，50 代表 5 星。

提示：抓下来的 CSV 用utf-8-sig编码，Excel 打开不会乱码。如果中途返回空列表，说明已经触发限制或翻到末尾，直接 break 即可，不要硬翻。

2.3 清洗后要做的两件检查

落盘之后别急着喂给 SnowNLP，先做两个检查。一是看文本长度分布，如果大量评论只有一两个字，比如「好看」「烂」，这些对情感模型和词云都是噪声，可以设一个最小长度阈值，比如保留 4 个字以上的。二是看星级分布，如果五星占九成，说明这个条目本身口碑一边倒，情感分析的意义会打折，这时候换一个争议大的条目更有分析价值。这两步用 pandas 几行就能看完。

import pandas as pd df = pd.read_csv("comments.csv") df = df[df["comment"].str.len() >= 4] print(df["star"].value_counts()) print(df["comment"].str.len().describe())

str.len() >= 4是长度过滤，value_counts()看星级分布，describe()看长度统计。这一步不写进最终流程也行，但强烈建议做，因为它决定了你后面结论的可信度。

3. SnowNLP 情感打分：从单条到整表的批量处理

3.1 SnowNLP 到底在算什么

SnowNLP 的情感分析基于一个朴素贝叶斯模型，训练语料是中文购物评论，输出的是「这条文本属于正向情感的概率」，范围 0 到 1。注意它输出的是概率不是标签，通常以 0.5 为界，大于 0.5 判为正向，小于 0.5 判为负向。它的优点是零训练、零配置、装上就能用；缺点是领域偏移明显，购物评论上表现尚可，到了电影评论这种反讽密集的场景，准确率会掉。所以用它做粗筛可以，做精细判断要谨慎。

常见做法是先用 SnowNLP 跑一遍，得到情感分数，再和星级做交叉验证，看看哪些评论是「文本和评分打架」的，这些往往是最有意思的分析点。

3.2 批量打分的代码与参数

import pandas as pd from snownlp import SnowNLP df = pd.read_csv("comments.csv") df = df[df["comment"].str.len() >= 4].copy() def get_sentiment(text): try: return SnowNLP(text).sentiments except Exception: return None # 空文本或异常时返回 None df["sentiment"] = df["comment"].apply(get_sentiment) df = df.dropna(subset=["sentiment"]) # 按 0.5 切分正负向 df["label"] = df["sentiment"].apply(lambda x: "正向" if x >= 0.5 else "负向") print(df["label"].value_counts()) print(df.groupby("star")["sentiment"].mean()) df.to_csv("comments_scored.csv", index=False, encoding="utf-8-sig")

SnowNLP(text).sentiments是核心调用，返回浮点数。apply逐行处理，几百到几千条秒级完成。dropna把异常行去掉，避免后续统计报错。groupby("star")["sentiment"].mean()这行很关键，它告诉你每个星级对应的平均情感分，如果五星的平均分明显高于一星，说明模型方向是对的；如果两者接近，说明模型在这个领域基本失效，需要换策略。

参数上唯一要调的是 0.5 这个阈值。如果你发现正向评论被大量误判为负向，可以把阈值降到 0.4；反之升到 0.6。这个阈值没有标准答案，取决于你的语料和容忍度。我一般会先看groupby的结果再决定。

3.3 用星级做一次交叉验证

SnowNLP 的分数和豆瓣星级是两套独立信号，把它们放一起看能暴露很多问题。理想情况下，星级越高情感分越高，呈单调关系。实际跑下来经常出现一星评论情感分 0.7 的情况，点进去一看，原来是「一星给导演，演员演技在线」这种转折句。这类样本就是模型的黑匣子，也是你后续优化或人工复核的重点。

import pandas as pd df = pd.read_csv("comments_scored.csv") # 找出评分低但情感分高的"矛盾样本" conflict = df[(df["star"] <= 2) & (df["sentiment"] >= 0.7)] print(conflict[["comment", "star", "sentiment"]].head(10))

这段代码筛出「低星高情感」的矛盾样本，head(10)先看十条。你会发现矛盾样本里大量存在「但是」「不过」「除了」这类转折词，这提示你可以在预处理阶段对转折句做特殊处理，或者干脆把这类样本单独拿出来人工标注。

4. 词云分析：让高频词说出评论的真实焦点

4.1 分词、停用词与词频统计

词云的前提是分词和词频统计。中文分词用 jieba，停用词表要自己准备，因为豆瓣评论里「电影」「一部」「真的」这类词会淹没真正有信息量的词。停用词表可以从网上找一份通用中文停用词，再手动加几个领域词，比如「导演」「演员」如果和你的分析目标无关也可以去掉。

import jieba import pandas as pd from collections import Counter df = pd.read_csv("comments_scored.csv") # 加载停用词 with open("stopwords.txt", encoding="utf-8") as f: stopwords = set(line.strip() for line in f if line.strip()) def tokenize(text): words = jieba.lcut(text) return [w for w in words if len(w) > 1 and w not in stopwords] # 分别统计正向和负向评论的词频 pos_words = [] neg_words = [] for _, row in df.iterrows(): words = tokenize(row["comment"]) if row["label"] == "正向": pos_words.extend(words) else: neg_words.extend(words) pos_counter = Counter(pos_words).most_common(100) neg_counter = Counter(neg_words).most_common(100) print("正向高频词:", pos_counter[:20]) print("负向高频词:", neg_counter[:20])

jieba.lcut返回列表，len(w) > 1过滤单字，stopwords过滤无意义词。分开统计正负向词频是关键一步，因为整体词云只能告诉你「大家在聊什么」，分开之后才能告诉你「夸的人和骂的人分别在意什么」。most_common(100)取前 100 个高频词，实际画词云时用前 50 到 80 个效果最好，太多会显得杂乱。

4.2 生成词云的代码与字体坑

from wordcloud import WordCloud import matplotlib.pyplot as plt def draw_wordcloud(counter, filename, title): freq = dict(counter) wc = WordCloud( font_path="SimHei.ttf", # 中文字体路径，必须指定 width=800, height=500, background_color="white", max_words=80, colormap="viridis" ) wc.generate_from_frequencies(freq) plt.figure(figsize=(10, 6)) plt.imshow(wc, interpolation="bilinear") plt.axis("off") plt.title(title) plt.savefig(filename, dpi=150, bbox_inches="tight") plt.close() draw_wordcloud(pos_counter, "wordcloud_pos.png", "正向评论词云") draw_wordcloud(neg_counter, "wordcloud_neg.png", "负向评论词云")

font_path是中文词云最容易翻车的地方，不指定中文字体，出来的全是方块。Windows 上可以用C:/Windows/Fonts/simhei.ttf，Linux 上需要自己放一个SimHei.ttf到工作目录。generate_from_frequencies直接吃词频字典，比传原始文本更可控，因为你可以自己决定哪些词进、哪些词不进。max_words=80控制词数，colormap换配色，dpi=150保证导出清晰度。

注意：如果词云里出现大量无意义的高频词，不要怪 wordcloud，回去检查停用词表。词云的质量九成取决于分词和停用词，一成取决于配色。

4.3 正负向词云怎么读

两张词云摆在一起，对比才有价值。正向词云里如果「演技」「剧情」「感动」占主导，说明观众认可的是内容层面；负向词云里如果「尴尬」「拖沓」「圈钱」突出，说明不满集中在节奏和诚意上。这种对比结论比单纯一个情感饼图有说服力得多。我一般会把两张图并排放在报告里，再配一句「正向集中在 X，负向集中在 Y」，结论就立住了。

5. 避坑与排查：SnowNLP 情感分析最常见的五个翻车点

5.1 情感分和星级完全对不上

现象：五星评论平均情感分只有 0.4，一星评论反而 0.6。原因：SnowNLP 的训练语料是购物评论，电影评论的用词和句式差异大，加上反讽和转折句，模型直接失灵。解决：不要迷信 0.5 阈值，先看groupby("star")["sentiment"].mean()的结果，如果单调性不成立，说明模型在这个语料上不可用，要么换领域适配的模型，要么只把 SnowNLP 当粗筛，结论以星级为主、情感分为辅。

5.2 词云全是方块

现象：生成的图片里中文全部显示为方框。原因：WordCloud 默认字体不支持中文。解决：显式指定font_path指向一个中文字体文件，Windows 用simhei.ttf，Linux 和 macOS 需要自己下载或拷贝一个中文字体到项目目录。这是最高频的翻车点，没有之一。

5.3 停用词没做好，词云被「电影」「真的」霸屏

现象：词云里最大的词是「电影」「一部」「真的」「就是」。原因：停用词表不完整，或者根本没加载。解决：准备一份中文停用词表，再针对豆瓣评论补充「豆瓣」「评分」「导演」「演员」等词。判断标准很简单：如果一个词出现在每一条评论里，它就不该进词云。

5.4 抓取中途返回空列表

现象：翻到第 10 页左右，fetch_comments开始返回空列表。原因：触发了访问频率限制或翻页上限。解决：加大time.sleep间隔到 2 秒以上，减少抓取页数，或者换一个时间段再抓。不要试图用代理池硬刚，几百条数据不值得。抓到空列表就停，已经拿到的数据足够做分析。

5.5 情感分析结果无法复现

现象：同样的代码，今天跑出来正向占 60%，明天跑出来 55%。原因：SnowNLP 本身是确定性的，问题多半出在数据抓取阶段——每次抓到的评论不同，或者清洗规则变了。解决：把原始 CSV 固定下来，后续所有分析都基于同一份comments.csv，不要每次重新抓。数据版本固定了，结论才能复现。

6. 进阶：把 SnowNLP 和规则、多模态信号拼起来用

SnowNLP 单打独斗的精度有限，但它的价值在于快和轻。真正让这套流水线好用的做法，是在它外面包一层规则和多信号融合。我一般会做三件事。

第一，用转折词规则修正情感分。评论里出现「但是」「不过」「可惜」时，情感极性往往由后半句决定。可以写一个简单规则：如果句子含转折词，取转折词之后子串的 SnowNLP 分数作为最终分。这个改动很小，但在电影评论上能明显改善矛盾样本。

import re from snownlp import SnowNLP TURN_WORDS = ["但是", "但", "不过", "可惜", "然而", "只是"] def sentiment_with_turn(text): for w in TURN_WORDS: if w in text: tail = text.split(w, 1)[1] if len(tail) >= 4: return SnowNLP(tail).sentiments return SnowNLP(text).sentiments

split(w, 1)只切一次，取转折词之后的部分，len(tail) >= 4防止后半句太短导致误判。这个函数替换掉原来的get_sentiment即可，其他流程不变。

第二，把星级作为强信号做加权。星级是用户主动给出的，比模型推断更可靠。可以定义一个综合分：final = 0.6 * star_norm + 0.4 * sentiment，其中star_norm是星级除以 5。这样既保留了文本信号，又不会被模型带偏。权重 0.6 和 0.4 可以按你的信任度调整。

第三，关注多模态情感分析这个方向。豆瓣评论不只有文本，还有评分、有用数、发布时间，甚至关联的海报和剧照。文本情感只是其中一个模态，把评分、点赞数、时间衰减加权进去，能得到更稳的情感趋势。比如按月份聚合情感分，看口碑是随时间上升还是崩塌，这比单条分析有意思得多。