1. 为什么你需要自动化获取京东商品评论？
做电商运营、市场分析或者产品研究的朋友，肯定都遇到过这个头疼事儿：想看看用户对某个商品到底是怎么评价的，结果一打开京东，评论成千上万条，手动翻到手抽筋也看不完。更别提想分析不同型号、不同时间段的评论趋势了，那工作量想想就让人头大。
我刚开始做竞品分析的时候，也是这么傻傻地一条条复制粘贴，效率低不说，还特别容易出错。后来发现，其实京东的数据是可以“自动化”获取的。这里说的自动化，可不是让你去搞什么“黑科技”破解，而是正儿八经地利用京东开放平台提供的官方接口，或者通过一些合规的网页技术来批量、高效地读取数据。这就像京东给开发者开了一扇“后门”，让你可以程序化地拿到商品评论，省时省力。
想象一下，你只需要运行一段Python脚本，泡杯咖啡的功夫，几千条包含用户昵称、评分、评论内容、追评、晒图时间甚至用户等级的信息，就整整齐齐地躺在了你的Excel表格或者数据库里。你可以轻松分析出“差评主要集中在哪个功能点”、“新品上市后口碑变化趋势”、“竞品用户的关注焦点是什么”。这对于选品、优化产品描述、制定客服话术、甚至是指导产品研发，都有着巨大的价值。
所以，今天我就把自己这些年用Python调用京东API和采集评论的实战经验，毫无保留地分享给你。我会从最基础的“如何申请官方接口权限”讲起，手把手带你走通整个流程，包括那些容易踩坑的签名生成、数据解析环节。无论你是刚入门Python的小白，还是有一定基础想找具体方案的开发者，这篇文章都能让你快速上手，合法、高效地把京东评论数据变成你的分析利器。
2. 走通官方正道：京东开放平台API申请与配置全攻略
说到调用API，很多人的第一反应是“复杂”、“麻烦”。确实，相比直接抓网页，官方API多了一个申请和配置的步骤，但我可以负责任地告诉你，这一步的投入绝对是值得的。用官方接口，数据最规范、最稳定，而且名正言顺，不用担心因为访问频率问题被限制。咱们一步一步来，其实没那么难。
### 2.1 创建应用与获取密钥：你的“身份证”和“钥匙”
首先，你需要访问“京东开放平台”的网站。直接用搜索引擎找官网就行。注册成为开发者，这个过程和注册普通网站账号差不多，按照提示填写信息即可。
登录之后，关键的一步来了：创建应用。你可以把它理解为你去京东数据仓库取数据的“身份证”。在控制台里找到“应用管理”或类似入口，点击“创建应用”。应用名称你可以起个自己能识别的，比如“商品评论分析工具”。应用类型通常选择“自用型应用”就可以了，除非你要做给很多人用的商业软件。
创建成功后，平台会给你两串至关重要的代码：App Key和App Secret。千万保管好它们，别泄露了！
- App Key：相当于你的公开用户名，在每次请求时会带上。
- App Secret：这是你的私密密码，绝对不要在任何前端代码或公开场合暴露。它主要用于生成请求签名，验证你的身份。
这就好比你去银行金库，App Key是银行知道你的账户名，而App Secret就是你用来开锁的独一无二的密码。没有正确的签名（由Secret参与生成），API大门是不会为你打开的。
### 2.2 理解API调用流程与核心参数
拿到钥匙后，我们来看看怎么开门。京东的API调用有一个标准的流程，核心是构造一个带有签名的HTTP请求。我画个简单的示意图帮你理解：
- 组装参数：把你想要调用的方法（比如获取评论）、你的App Key、时间戳、商品编号等所有参数，按照固定格式（通常是JSON）准备好。
- 生成签名：这是最关键的一步。你需要按照京东规定的算法（比如MD5或HMAC-SHA256），将上一步的所有参数和你的App Secret混合在一起，计算出一个唯一的字符串，这就是“签名”。这个步骤是为了防止请求在传输过程中被篡改。
- 发送请求：将包括签名在内的所有参数，通过GET或POST请求发送到京东的API网关地址。
- 接收与解析：接收京东返回的JSON格式数据，然后从中提取你需要的评论信息。
在这个过程中，有几个参数你需要特别留意：
method：指定你要调用的具体API。获取商品评论的常用方法是jingdong.ware.productcomment.get。skuId：京东商品的唯一库存编号。注意，这不是商品详情页链接里那个productId，而是更细粒度的SKU ID。你可以在商品页的“规格选择”那里，通过浏览器开发者工具找到它。page和pageSize：分页参数，控制一次取多少条、取第几页。timestamp：请求发起的时间，格式要求非常严格（例如yyyy-MM-dd HH:mm:ss），并且服务器时间差不能太大，否则会报错。
3. 攻克最大难点：签名生成与请求实战
理论说再多，不如一行代码。签名生成可能是新手遇到的第一个“拦路虎”，因为官方文档的说明可能比较简略。别怕，我带你用最直白的方式实现它。
### 3.1 手把手实现MD5签名算法
京东支持多种签名方法，MD5是比较常用的一种。它的核心逻辑是：将所有请求参数（除了sign本身），按照参数名的字母顺序排序，然后拼接成“key1value1key2value2…”的格式，最后在字符串的头部和尾部都加上你的App Secret，对这个整体字符串进行MD5加密（并转为大写），就得到了签名。
下面是一个我实际项目中在用的签名生成函数，你可以直接参考：
import hashlib import json import urllib.parse def generate_jd_sign(params, app_secret): """ 根据京东开放平台规则生成MD5签名 params: 包含所有请求参数的字典（不包含sign本身） app_secret: 你的应用密钥 """ # 1. 过滤掉sign参数本身，并过滤掉值为空的参数（根据京东要求） filtered_params = {k: v for k, v in params.items() if k != 'sign' and v is not None and v != ''} # 2. 将所有参数名按ASCII码升序排序 sorted_keys = sorted(filtered_params.keys()) # 3. 拼接键值对：key1value1key2value2... concatenated_string = '' for key in sorted_keys: value = filtered_params[key] # 注意：param_json本身是一个JSON字符串，拼接时不需要再额外处理 concatenated_string += key + str(value) # 4. 在拼接字符串的首尾加上App Secret sign_string = app_secret + concatenated_string + app_secret # 5. 计算MD5值并转为大写 md5 = hashlib.md5() md5.update(sign_string.encode('utf-8')) return md5.hexdigest().upper()### 3.2 组装并发送你的第一个API请求
有了签名函数，我们就可以组装一个完整的请求了。这里我写一个更健壮、带错误处理的示例：
import requests import json import time from datetime import datetime class JDAPIClient: def __init__(self, app_key, app_secret): self.app_key = app_key self.app_secret = app_secret self.api_gateway = "https://api.jd.com/routerjson" self.session = requests.Session() # 使用会话保持连接，提升效率 def get_product_comments(self, sku_id, page=1, page_size=10): """调用商品评论接口""" # 1. 准备基础参数 method = "jingdong.ware.productcomment.get" timestamp = datetime.now().strftime('%Y-%m-%d %H:%M:%S') # 2. 构建业务参数（param_json） biz_params = { "skuId": sku_id, "page": page, "pageSize": page_size } # 3. 构建系统级参数 sys_params = { "method": method, "app_key": self.app_key, "timestamp": timestamp, "format": "json", "v": "2.0", "sign_method": "md5", "param_json": json.dumps(biz_params, separators=(',', ':')) # 紧凑JSON，无空格 } # 4. 生成签名 sys_params["sign"] = generate_jd_sign(sys_params, self.app_secret) # 5. 发送请求 try: response = self.session.get(self.api_gateway, params=sys_params, timeout=10) response.raise_for_status() # 如果状态码不是200，抛出异常 result = response.json() # 6. 检查API调用是否成功 if 'error_response' in result: error_msg = result['error_response'].get('zh_desc', '未知错误') print(f"API调用失败: {error_msg}") return None else: # 成功返回，数据通常在 result[method.replace('.', '_') + '_response'] 路径下 # 具体路径需要查看API文档 data_key = method.replace('.', '_') + '_response' return result.get(data_key, {}) except requests.exceptions.RequestException as e: print(f"网络请求异常: {e}") return None except json.JSONDecodeError as e: print(f"响应解析为JSON失败: {e}") print(f"原始响应: {response.text[:200]}") return None # 使用示例（请替换成你的真实密钥和SKU） if __name__ == "__main__": # 你的密钥信息 APP_KEY = "你的AppKey" APP_SECRET = "你的AppSecret" client = JDAPIClient(APP_KEY, APP_SECRET) # 示例SKU（需要你替换成真实的） test_sku = "100012014970" comments_data = client.get_product_comments(test_sku, page=1) if comments_data: print("请求成功！") # 打印部分数据看看结构 print(json.dumps(comments_data, indent=2, ensure_ascii=False)[:500])运行这段代码，如果一切配置正确，你就能看到返回的JSON数据了。第一次成功收到数据的那一刻，感觉特别有成就感！接下来，我们就要从这堆JSON里，把有用的评论信息“挖”出来。
4. 从杂乱JSON到规整表格：数据解析与清洗技巧
API返回的数据通常是多层嵌套的JSON，直接看有点眼花缭乱。我们的目标是把它们转换成结构清晰、适合分析的格式，比如Python列表、Pandas DataFrame，或者直接存进CSV、数据库。
### 4.1 解析评论数据结构与核心字段
首先，你得知道你要的数据藏在哪。通常，评论列表的路径类似于result['jingdong_ware_productcomment_get_response']['comments']。这个comments是一个列表，里面的每个元素是一条评论。
一条评论里包含的字段非常丰富，我挑一些最有分析价值的给你讲讲：
content：评论正文。这是文本分析的核心，用户的好评、差评、吐槽都在这里。score：用户评分（1-5星）。可以直接用于计算好评率、平均分。nickname：用户昵称（通常是脱敏后的，如“j***d”）。creationTime：评论发表时间。分析评论随时间的变化趋势就靠它。userLevelName：用户等级，如“金牌会员”、“钻石会员”。可以分析不同等级用户的评价差异。usefulVoteCount&replyCount：“有用”点赞数和回复数。反映评论的热度或争议性。afterUserComment：追评内容。很多有价值的补充信息在这里。images：晒图列表。可以获取图片链接，用于分析用户关注的产品细节。
### 4.2 使用Pandas进行数据清洗与存储
解析出来后，我们直接用Pandas这个数据分析神器来处理，一步到位完成清洗和存储。
import pandas as pd from datetime import datetime def parse_and_save_comments(api_response, sku_id, output_file=None): """ 解析API返回的评论数据并保存为CSV """ if not api_response: print("无有效数据可解析") return None # 1. 定位到评论列表（路径可能需要根据实际API响应调整） # 这里是一个常见路径，请根据你实际收到的数据调整 comments_list = api_response.get('comments', []) if not comments_list: print("未找到评论数据") return None parsed_comments = [] for comment in comments_list: # 2. 提取核心字段，处理可能缺失的情况 base_info = { 'sku_id': sku_id, 'comment_id': comment.get('id'), 'content': comment.get('content', '').strip(), 'score': comment.get('score', 0), 'nickname': comment.get('nickname', '匿名用户'), 'user_level': comment.get('userLevelName', ''), 'creation_time': comment.get('creationTime'), 'useful_votes': comment.get('usefulVoteCount', 0), 'reply_count': comment.get('replyCount', 0), } # 3. 处理追评 after_comment = comment.get('afterUserComment', {}) if after_comment: base_info['after_content'] = after_comment.get('content', '') base_info['after_time'] = after_comment.get('created', '') else: base_info['after_content'] = '' base_info['after_time'] = '' # 4. 处理晒图（将图片链接列表合并为字符串，用分号分隔） images = comment.get('images', []) if images: image_urls = [img.get('imgUrl', '') for img in images if img.get('imgUrl')] base_info['image_urls'] = ';'.join(image_urls) else: base_info['image_urls'] = '' parsed_comments.append(base_info) # 5. 转换为DataFrame df = pd.DataFrame(parsed_comments) # 6. 数据清洗：转换时间格式 if 'creation_time' in df.columns: # 尝试将京东的时间字符串转为标准datetime对象 try: df['creation_time'] = pd.to_datetime(df['creation_time']) except Exception as e: print(f"时间格式转换出现警告: {e}") # 如果转换失败，保留原字符串 # 7. 保存到文件 if output_file: # 使用utf-8-sig编码，方便Excel直接打开无乱码 df.to_csv(output_file, index=False, encoding='utf-8-sig') print(f"评论数据已保存至: {output_file}，共 {len(df)} 条记录。") return df # 接续前面的API调用示例 if comments_data: df_comments = parse_and_save_comments(comments_data, test_sku, f"jd_comments_{test_sku}.csv") # 快速查看数据 if df_comments is not None: print("\n数据预览：") print(df_comments[['nickname', 'score', 'content', 'creation_time']].head()) # 简单的统计分析 print(f"\n=== 基础统计 ===") print(f"总评论数: {len(df_comments)}") print(f"平均评分: {df_comments['score'].mean():.2f}") print(f"评分分布:\n{df_comments['score'].value_counts().sort_index()}")运行这段代码，你就能在本地得到一个规整的CSV文件，用Excel就能直接打开分析。看到数据从杂乱的JSON变成清晰的表格，整个数据分析工作就成功了一大半。
5. 应对限制与提升稳定性：高级策略与注意事项
在实际操作中，你肯定会遇到各种小问题。比如请求频率高了被限制，或者想采集更多历史评论。这部分我分享一些“踩坑”后总结的经验。
### 5.1 遵守规则：设置请求间隔与错误重试
京东开放平台对API调用有频率限制（QPS），具体数值在你的应用详情里能看到。即使没有明确限制，出于礼貌和避免触发风控，也必须设置请求间隔。
更关键的是实现一个健壮的错误处理和重试机制。网络可能波动，API也可能返回临时错误。我的策略是：遇到网络超时或5xx服务器错误，自动重试几次；遇到4xx客户端错误（如签名错误、参数错误），则记录日志并停止，因为重试也没用。
import time import random from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type # 使用tenacity库实现优雅的重试机制 @retry( stop=stop_after_attempt(3), # 最多重试3次 wait=wait_exponential(multiplier=1, min=2, max=10), # 指数退避等待 retry=retry_if_exception_type((requests.exceptions.Timeout, requests.exceptions.ConnectionError)) ) def safe_api_call(client, sku_id, page): """带重试和延迟的安全API调用""" # 随机延迟1-3秒，模拟人工操作，避免请求过于密集 time.sleep(random.uniform(1, 3)) data = client.get_product_comments(sku_id, page=page) # 如果返回特定错误码（如频率限制），也触发重试 if data is None: # 这里可以更精细地判断错误类型，示例中简单重试 raise requests.exceptions.ConnectionError("API返回空数据，触发重试") # 检查API业务错误，例如频率限制错误码可能是 '1007'，需查阅文档 if 'error_response' in data: error_code = data['error_response'].get('code') if error_code in ['1007']: # 假设1007是频率限制 print(f"触发频率限制，等待后重试...") time.sleep(10) # 等待更长时间 raise requests.exceptions.ConnectionError("频率限制，触发重试") return data### 5.2 突破分页限制与获取历史评论
你可能发现，通过某些接口只能获取最近一定时间或一定数量的评论。对于深度分析，我们需要更全面的历史数据。
这里有几个思路：
- 时间维度遍历：如果API支持按时间范围查询，你可以将任务拆分成按周或按月的小任务，分批获取。
- 结合排序方式：尝试在调用时改变
sortType参数，比如按“最新”、“最有用”、“推荐”排序，不同排序返回的评论集合可能有差异，可以互补。 - 官方接口与网页采集互补：对于非常重要的历史数据，在严格遵守
robots.txt和访问频率的前提下，可以谨慎使用网页采集作为官方API的补充。原始文章里提供的JDCommentScraper类就是一个很好的起点，它模拟浏览器请求，能够获取到前端展示的评论数据。但务必记住：网页采集的稳定性远低于官方API，且存在法律和伦理风险，仅应在无官方接口且绝对必要时，用于个人学习研究，并大幅降低请求频率，添加充足延迟。
最后，也是最重要的提醒：尊重平台和数据。你获取的数据应用于正当的分析和学习目的，不要用于骚扰用户、恶意竞争或任何违反平台服务条款的行为。合理控制你的请求量，别因为你的脚本跑得太嗨，给别人的服务器造成不必要的压力。当你有真正大规模、商业化的数据需求时，最稳妥的方式是联系京东的商务合作部门，探讨正式的商业数据合作方案。这才是长久之计。
