Python requests实战：构建京东评论爬虫，应对反爬与数据分类保存

简介：本资源是一个面向Python初学者与数据采集实践者的京东商品评论爬虫实战项目，聚焦于利用requests库高效获取并结构化保存电商用户反馈，解决市场调研、情感分析等场景下的原始数据获取难题。压缩包共7个文件，含3个按情感倾向分类的CSV样本数据（正面/中性/负面）、核心爬虫脚本py文件、项目说明文档md及开源协议文件，整体仅2.5MB，轻量易上手。已有47人学习下载，适合希望掌握HTTP请求模拟、HTML解析、反爬应对基础（如请求头伪装、间隔控制）及多类别数据归档逻辑的学习者。读者可直接运行脚本复现完整流程，获得可扩展的评论采集框架、标准化的CSV分类存储结构，以及适配京东页面结构的Selector提取经验，为后续接入NLP分析或可视化打下坚实基础。

1. 项目概述：从零构建一个健壮的京东评论爬虫

最近在分析一些消费电子产品的市场反馈，手动收集评论数据效率太低，于是决定自己动手写一个爬虫。目标很明确：用 Python 的 requests 库，把京东上指定商品的评论数据抓下来，并且要按好评、中评、差评分类保存到不同的文件里。这听起来是个很典型的爬虫入门项目，但真做起来你会发现，从简单的“请求-解析”到能稳定运行、应对反爬、处理异常的分类保存工具，中间要踩的坑可不少。特别是面对京东这样的大型电商平台，它的反爬机制和动态页面结构，对新手来说是个不小的挑战。这个项目适合有一定 Python 基础，想从“写个简单脚本”进阶到“构建实用数据采集工具”的朋友。接下来，我会把整个从思路设计、代码实现到问题排查的完整过程拆开揉碎了讲，你跟着做，不仅能得到一个可用的工具，更能掌握处理类似数据抓取任务的通用方法论。

2. 核心思路与工具选型背后的考量

2.1 为什么选择 Requests 而不是 Scrapy 或 Selenium？

很多爬虫教程一上来就推荐 Scrapy 框架或者 Selenium 自动化工具。对于京东评论这种需要处理分页、可能涉及一些动态参数的项目，它们确实有优势。但我坚持用最基础的requests库起步，原因有三点。

第一，降低认知负担，聚焦核心逻辑。Scrapy 框架虽强大，但其异步架构、中间件、管道等概念对新手来说过于复杂。我们的核心任务是理解网络请求的构成、数据的提取和保存。用requests可以让我们更清晰地看到“发送一个 HTTP 请求”和“接收一个 HTTP 响应”这一最本质的过程，避免被框架的抽象层分散注意力。

第二，京东评论接口本质是静态 API。通过浏览器开发者工具分析可以发现，京东商品评论页的数据是通过一个独立的 JSON 接口加载的，页面本身只是提供了一个展示壳。这意味着我们不需要模拟完整的浏览器环境（Selenium 的主要用途）去渲染 JavaScript，只需要找到并正确调用这个后台接口即可。requests库完全胜任此类任务，且效率远高于 Selenium。

第三，轻量化和可控性。一个纯requests的脚本，依赖极少，部署和运行非常方便。你可以更容易地控制请求头、请求参数、代理、超时和重试策略，这对于应对反爬策略至关重要。等我们用requests把整个流程跑通，理解了反爬的各个环节后，再考虑迁移到 Scrapy 以获得更好的工程化管理，会是更顺滑的学习路径。

2.2 技术栈与关键库解析

确定了核心库，我们还需要几个帮手来共同完成这个项目。

• Requests: 负责发送 HTTP 请求，获取服务器返回的数据（HTML 或 JSON）。它是我们与京东服务器对话的唯一工具。
• JSON: Python 内置库。京东的评论数据接口返回的是 JSON 格式的字符串，我们需要用这个库将其解析成 Python 的字典或列表，方便我们提取信息。
• Pandas (或 csv 模块): 用于数据保存。Pandas 的DataFrame和to_csv、to_excel方法能非常优雅地将结构化数据保存为文件。如果追求极简，Python 内置的csv模块也完全够用。这里我选择 Pandas，因为它后续做简单数据分析更方便。
• Time / Random: 用于控制请求频率。这是应对反爬的“道德”与“技术”必备手段。在请求间插入随机延时，可以模拟人类操作，避免触发服务器的“访问频率过高”限制。
• Re (正则表达式) 或 BeautifulSoup4: 用于解析数据。虽然核心数据来自 JSON 接口，但有时我们需要从商品主页 HTML 中提取一些初始参数（如商品ID、店铺ID）。BeautifulSoup4 是更友好、更强大的 HTML 解析库，推荐使用。正则表达式则更灵活，但编写和维护难度稍大。

注意：不要一上来就安装所有库。建议先装requests和pandas，遇到解析需求时再装beautifulsoup4。使用pip install requests pandas beautifulsoup4即可。

2.3 反爬策略的预先规划

在写第一行代码之前，我们必须想好如何应对反爬。京东常见的反爬手段包括：请求头校验、IP 频率限制、请求参数签名、返回状态码 429 (Too Many Requests)。

1. 请求头 (Headers): 这是最基本也是最重要的一环。我们的请求头必须看起来像一个真实的浏览器。关键字段包括User-Agent（用户代理）、Referer（来源页）、Accept-Language（接受语言）等。缺少或使用默认的python-requests的 User-Agent，会立刻被识别为爬虫。
2. 请求频率: 这是触发 429 状态码的主要原因。我们必须在每次请求后强制休眠一段随机时间。例如，time.sleep(random.uniform(1, 3))表示休眠1到3秒之间的一个随机浮点数秒。这能有效降低请求频率。
3. 会话维持: 使用requests.Session()对象。Session 可以自动处理 Cookies，在多次请求间保持一定的会话状态，比单次requests.get更接近真实用户行为。
4. 异常处理与重试: 网络是不稳定的，服务器也可能临时出错。我们必须用try...except包裹核心请求代码，并对特定的异常（如连接超时、状态码非200）设计重试机制。
5. 参数构造: 评论接口的 URL 通常包含一系列查询参数，如商品ID、页码、排序方式、评论类型等。这些参数必须完全模拟正常请求，有时参数值可能经过简单编码或计算。

3. 实战：一步步拆解京东评论接口

3.1 定位目标数据源：找到真正的评论接口

这是最关键的一步。我们不能去爬取商品详情页的 HTML，因为评论是动态加载的。

1. 打开京东网站，进入任意商品页面（例如一个手机）。
2. 按下F12打开开发者工具，切换到“Network” (网络)选项卡。
3. 在商品页面上，找到“商品评价”区域，点击“只看当前商品评价”，或者切换“好评”、“中评”、“差评”标签，同时观察 Network 面板的变化。
4. 你会看到一个新的网络请求出现，其类型 (Type) 通常是fetch或xhr，名称可能包含fetchComment、productPageComments等关键词。点击这个请求，查看其详细信息。
5. 在“Headers”标签页，你可以看到完整的请求 URL (Request URL)。这个 URL 就是我们要攻击的目标。它通常很长，包含https://club.jd.com/comment/productPageComments.action?这样的基础路径，后面跟着一串&连接的参数。
6. 在“Preview”或“Response”标签页，你可以看到服务器返回的数据，正是结构化的 JSON 格式，里面包含了评论列表、评论总数、分页信息等。

实操记录：以某款手机为例，我抓取到的核心接口 URL 模式如下：

https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100012345678&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1

我们需要重点关注并提取其中的几个关键参数：

• productId: 商品ID，从商品详情页的 URL 中就能找到。
• score: 评论类型。0-全部，1-差评，2-中评，3-好评。
• page: 页码，从0开始。
• pageSize: 每页显示的评论数，最大可尝试设置为30或50（有时服务器会限制）。
• sortType: 排序类型，5通常表示按推荐排序，6表示按时间排序。

3.2 构造请求头与参数

有了接口 URL，我们需要用 Python 来模拟这个请求。首先，构造一个看起来像浏览器的请求头。你可以直接从开发者工具的 “Headers” 里复制 “Request Headers” 部分。

import requests import time import random import json # 定义一个常用的请求头字典 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Referer': 'https://item.jd.com/', # 替换为具体商品页地址，这很重要 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', # 注意：requests 会自动处理 gzip，这里写上与浏览器一致即可 'Connection': 'keep-alive', }

接下来，将 URL 中的查询参数提取出来，构造成一个独立的参数字典，这样便于我们动态修改page和score。

# 基础参数 params = { 'callback': 'fetchJSON_comment98', # 有时需要，有时不需要，视接口而定 'productId': '100012345678', # 替换为目标商品ID 'score': 0, # 0:全部 1:差评 2:中评 3:好评 'sortType': 5, 'page': 0, # 页码，从0开始 'pageSize': 10, 'isShadowSku': 0, 'fold': 1 }

3.3 发送请求与解析 JSON 数据

现在，我们可以使用requests.Session()发送请求了。使用 Session 的好处是它会自动管理 Cookies。

# 创建会话 session = requests.Session() session.headers.update(headers) # 为会话设置默认请求头 try: # 发送 GET 请求 response = session.get('https://club.jd.com/comment/productPageComments.action', params=params, timeout=10) # 检查请求是否成功 response.raise_for_status() # 如果状态码不是200，将抛出HTTPError异常 # 打印状态码和部分响应内容，用于调试 print(f"状态码: {response.status_code}") print(f"响应内容前500字符: {response.text[:500]}") except requests.exceptions.RequestException as e: print(f"请求发生错误: {e}") # 这里可以加入重试逻辑

如果请求成功，我们会得到一段文本。但直接response.json()可能会失败，因为京东的接口返回的数据有时被一个函数调用包裹着，例如fetchJSON_comment98({...})。我们需要先清理这个包装。

# 假设响应文本是 `fetchJSON_comment98({...})` text = response.text # 去除函数包装和末尾的分号，只提取 JSON 部分 if text.startswith('fetchJSON_comment98(') and text.endswith(');'): json_str = text[len('fetchJSON_comment98('):-2] else: json_str = text # 如果没有包装，直接使用 # 将 JSON 字符串解析为 Python 字典 try: data_dict = json.loads(json_str) except json.JSONDecodeError as e: print(f"JSON 解析失败: {e}") print(f"原始文本: {text[:200]}") data_dict = None if data_dict: # 提取评论列表 comments = data_dict.get('comments', []) print(f"本页获取到 {len(comments)} 条评论。") # 遍历评论列表，提取所需字段 for comment in comments: content = comment.get('content', '') # 评论内容 creation_time = comment.get('creationTime', '') # 评论时间 score = comment.get('score', 0) # 评分（5分制） # ... 提取其他你需要的字段，如用户昵称、点赞数、回复等 print(f"时间：{creation_time}, 评分：{score}, 内容：{content[:50]}...")

3.4 实现分页爬取与分类逻辑

单页数据是远远不够的。我们需要一个循环来爬取多页数据，并根据score参数来分类爬取。

def fetch_comments_by_score(product_id, score_type, max_pages=10): """ 根据评分类型爬取评论 :param product_id: 商品ID :param score_type: 1差评, 2中评, 3好评 :param max_pages: 最大爬取页数 :return: 评论数据列表 """ all_comments = [] session = requests.Session() session.headers.update(headers) base_params = { 'productId': product_id, 'score': score_type, 'sortType': 5, 'pageSize': 10, 'isShadowSku': 0, 'fold': 1 } for page in range(0, max_pages): # 页码通常从0开始 print(f"正在爬取 {score_type} 评价，第 {page+1} 页...") params = base_params.copy() params['page'] = page try: resp = session.get('https://club.jd.com/comment/productPageComments.action', params=params, timeout=15) resp.raise_for_status() # 清理和解析 JSON text = resp.text # 这里需要根据实际接口返回调整清理逻辑 # 假设接口返回的是纯JSON，没有回调函数包装 page_data = json.loads(text) comments = page_data.get('comments', []) if not comments: # 如果当前页没有评论，说明已爬完 print(f"第 {page+1} 页无数据，可能已爬取完毕。") break all_comments.extend(comments) print(f" 本页获取 {len(comments)} 条，累计 {len(all_comments)} 条。") # 关键：随机延时，避免请求过快 sleep_time = random.uniform(2, 5) print(f" 等待 {sleep_time:.2f} 秒...") time.sleep(sleep_time) except requests.exceptions.RequestException as e: print(f"第 {page+1} 页请求失败: {e}") break except json.JSONDecodeError as e: print(f"第 {page+1} 页 JSON 解析失败: {e}") print(f" 响应内容: {resp.text[:200]}") break return all_comments # 主程序 product_id = '100012345678' # 替换为真实商品ID max_pages_per_score = 20 # 每种评价类型最多爬20页 # 分别爬取好评、中评、差评 print("开始爬取好评...") good_comments = fetch_comments_by_score(product_id, 3, max_pages_per_score) print("开始爬取中评...") neutral_comments = fetch_comments_by_score(product_id, 2, max_pages_per_score) print("开始爬取差评...") bad_comments = fetch_comments_by_score(product_id, 1, max_pages_per_score) print(f"爬取完成！好评：{len(good_comments)} 条， 中评：{len(neutral_comments)} 条， 差评：{len(bad_comments)} 条。")

4. 数据清洗、保存与结构化

4.1 从原始数据中提取关键字段

爬取到的每条评论是一个字典，里面包含大量信息。我们需要根据分析目标，提取出最有用的字段。

def extract_comment_info(comment_dict): """从单条评论字典中提取关键信息""" info = { '用户ID': comment_dict.get('id'), # 评论ID '用户昵称': comment_dict.get('nickname', '匿名用户'), '评论内容': comment_dict.get('content', '').strip().replace('\n', ' '), # 清洗换行符 '评分': comment_dict.get('score', 0), # 1-5分 '评论时间': comment_dict.get('creationTime', ''), '点赞数': comment_dict.get('usefulVoteCount', 0), '回复数': comment_dict.get('replyCount', 0), '是否追评': comment_dict.get('afterUserComment', {}).get('hAfterUserComment', False), '商品颜色': comment_dict.get('productColor', ''), '商品规格': comment_dict.get('productSize', ''), '是否plus会员': comment_dict.get('plusAvailable', 0) == 1, } # 有时图片信息在一个嵌套的列表里 images = comment_dict.get('images', []) info['图片数量'] = len(images) if images else 0 info['图片链接'] = ';'.join([img.get('imgUrl', '') for img in images]) if images else '' return info # 应用提取函数到所有评论列表 good_comments_cleaned = [extract_comment_info(c) for c in good_comments] neutral_comments_cleaned = [extract_comment_info(c) for c in neutral_comments] bad_comments_cleaned = [extract_comment_info(c) for c in bad_comments]

4.2 使用 Pandas 进行分类保存

将清洗后的数据列表转换为 Pandas DataFrame，然后保存为 CSV 或 Excel 文件。分类保存意味着我们要生成三个独立的文件。

import pandas as pd # 创建DataFrame df_good = pd.DataFrame(good_comments_cleaned) df_neutral = pd.DataFrame(neutral_comments_cleaned) df_bad = pd.DataFrame(bad_comments_cleaned) # 定义文件名前缀 file_prefix = f"jd_comment_{product_id}" # 保存为 CSV 文件 (推荐，通用性好) df_good.to_csv(f'{file_prefix}_good.csv', index=False, encoding='utf-8-sig') # utf-8-sig 解决 Excel 打开中文乱码 df_neutral.to_csv(f'{file_prefix}_neutral.csv', index=False, encoding='utf-8-sig') df_bad.to_csv(f'{file_prefix}_bad.csv', index=False, encoding='utf-8-sig') # 或者保存为 Excel 文件 (需要安装 openpyxl: pip install openpyxl) # with pd.ExcelWriter(f'{file_prefix}_all.xlsx', engine='openpyxl') as writer: # df_good.to_excel(writer, sheet_name='好评', index=False) # df_neutral.to_excel(writer, sheet_name='中评', index=False) # df_bad.to_excel(writer, sheet_name='差评', index=False) print(f"数据已保存。好评文件: {file_prefix}_good.csv")

4.3 数据保存的进阶技巧与注意事项

• 增量爬取：如果你需要定期更新评论，可以记录已爬取评论的 ID。每次爬虫运行时，先读取已保存的文件，获取已有的评论ID集合，然后只保存新出现的评论。
• 异常数据记录：在爬取过程中，可以将失败的请求 URL、状态码、异常信息记录到一个单独的日志文件中，便于后续排查和重试。
• 数据去重：虽然按页爬取通常不会重复，但为了严谨，可以在保存前根据评论ID进行去重：df.drop_duplicates(subset=[‘用户ID’], inplace=True)。
• 文件组织：可以为每个商品创建一个文件夹，里面存放该商品的所有评论文件，使项目结构更清晰。

5. 高级话题：应对反爬与提升稳定性

5.1 处理 429 Too Many Requests 错误

这是爬虫最常遇到的错误之一。当服务器检测到你的请求频率过高时，就会返回 429 状态码。我们的防御策略是“预防为主，处理为辅”。

1. 增加随机延时：如前所述，time.sleep(random.uniform(2, 5))是基本操作。对于反爬严格的网站，可以将休眠时间延长并增加随机性，例如random.uniform(5, 10)。
2. 使用代理 IP：当单个 IP 被限制后，最有效的方法是切换 IP。你可以使用付费或免费的代理 IP 池。在 requests 中使用代理非常简单：

   proxies = { 'http': 'http://your_proxy_ip:port', 'https': 'http://your_proxy_ip:port', # 注意，很多代理服务器的http和https协议都用http地址 } response = session.get(url, params=params, proxies=proxies, timeout=10)

   你需要自己管理代理IP的获取、验证和轮换逻辑。这是一个相对复杂的子系统。
3. 优雅的重试机制：当遇到 429 或网络超时等错误时，不应该立即崩溃，而应该等待更长时间后重试。

   import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry # 配置重试策略 retry_strategy = Retry( total=3, # 总重试次数 backoff_factor=1, # 重试等待时间 = {backoff factor} * (2 ** ({number of total retries} - 1)) status_forcelist=[429, 500, 502, 503, 504], # 遇到这些状态码就重试 ) adapter = HTTPAdapter(max_retries=retry_strategy) session = requests.Session() session.mount("http://", adapter) session.mount("https://", adapter) # 然后使用这个 session 进行请求，它会自动处理重试

5.2 动态参数与签名破解

有些网站的接口参数是经过加密或签名的，比如一个sign或token参数。对于京东评论的基础接口，目前通常不需要处理复杂的签名。但如果未来接口升级，你可能需要：

1. 仔细对比请求：在开发者工具中，对比你手动点击“下一页”时发出的多个请求，观察哪些参数发生了变化，变化的规律是什么。
2. 搜索 JavaScript 源码：在开发者工具的 “Sources” 面板，搜索关键参数名（如sign、token、_等），找到生成该参数的 JavaScript 函数。
3. 使用 PyExecJS 或 Node.js 环境：如果参数生成逻辑不复杂，可以尝试用 Python 重写。如果逻辑复杂（涉及浏览器环境、加密库），可以考虑使用PyExecJS库来执行 JavaScript 代码片段，从而计算得到正确的参数值。这是爬虫进阶路上的一道坎。

5.3 代码健壮性封装

将上述所有功能封装成一个类，会使代码更易管理和复用。

class JDCommentCrawler: def __init__(self, product_id, base_headers=None): self.product_id = product_id self.session = requests.Session() self.session.headers.update(base_headers or self._get_default_headers()) # 配置重试 retry_strategy = Retry(total=3, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504]) adapter = HTTPAdapter(max_retries=retry_strategy) self.session.mount("http://", adapter) self.session.mount("https://", adapter) @staticmethod def _get_default_headers(): return { ... } # 返回默认请求头 def fetch_page(self, score, page): """爬取单页数据""" params = { ... } # 构造参数 try: resp = self.session.get(API_URL, params=params, timeout=15) resp.raise_for_status() return self._parse_response(resp.text) except Exception as e: self._log_error(e, params) return None def crawl_by_score(self, score_type, max_pages): """爬取指定类型的所有评论""" all_comments = [] for page in range(max_pages): data = self.fetch_page(score_type, page) if not data: break all_comments.extend(data) time.sleep(random.uniform(2, 4)) return all_comments def run(self): """主运行函数""" comments_map = {} for score, name in [(3, 'good'), (2, 'neutral'), (1, 'bad')]: print(f"开始爬取{name}评价...") comments = self.crawl_by_score(score, 20) comments_map[name] = comments self.save_to_csv(comments, name) return comments_map # ... 其他方法如 _parse_response, _log_error, save_to_csv 等

6. 常见问题排查与实战心得

6.1 问题速查表

6.2 实操心得与避坑指南

1. “慢就是快”：对于爬虫，尤其是新手，最大的美德就是“慢”。把请求间隔设置得足够长（比如3秒以上），能规避90%的反爬问题。急于求成狂发请求，只会导致IP被封，得不偿失。
2. 从浏览器复制，不要自己编：请求头、URL 参数，尽可能从浏览器开发者工具里直接复制。你的“想当然”很可能和服务器预期的不一样。
3. 先验证单次请求，再构建循环：不要一上来就写for循环爬100页。先确保你的代码能正确获取并解析第一页的数据。用print把关键步骤的结果输出看看，确认无误后再加循环和延时。
4. 关注接口的变化：网站的接口不是一成不变的。今天能用的代码，下个月可能就失效了。如果突然爬不到数据，第一件事就是重新用开发者工具抓包，看看接口地址和参数有没有变化。
5. 尊重robots.txt与法律边界：在爬取任何网站前，理论上应该查看其robots.txt文件（例如https://www.jd.com/robots.txt），了解哪些路径是允许爬取的。更重要的是，爬取的数据应仅用于个人学习或合法的分析研究，不得用于商业用途、不得恶意攻击服务器、不得侵犯用户隐私。控制爬取速度，避免对目标网站造成负担，这是基本的网络礼仪。
6. 数据存储考虑：如果爬取数据量很大，CSV 文件可能会变得笨重。可以考虑使用 SQLite（sqlite3库）或更专业的数据库（如 MySQL, PostgreSQL）进行存储，便于查询和管理。
7. 异常处理要具体：不要只用except Exception一把抓。针对requests.exceptions.Timeout、ConnectionError、HTTPError以及JSONDecodeError分别进行处理，可以让你更清楚地知道程序在哪一环出了问题。

这个项目从简单的想法到能稳定运行的工具，涉及了网络请求、数据解析、反爬策略、文件操作和代码设计多个层面。核心不在于代码多么复杂，而在于对目标网站行为的细致观察和对异常情况的周全考虑。当你成功运行起自己的爬虫，看到数据规整地保存到文件里时，那种解决问题的成就感，才是学习编程最大的乐趣之一。

本文还有配套的精品资源，点击获取