3个坑教你搞定平台购物比价怎么比速查手册
刚学完Python爬虫，看着满屏的 requests 和 BeautifulSoup 代码，心里是不是特虚？知道语法，但真让你去搭个能跑的项目，脑子立马一片空白。别慌，这正是大多数开发者的通病。今天不聊虚的，直接上项目。我们要做一个【平台购物比价怎么比】的实战案例，顺手整理了一份【速查手册】，帮你把从数据抓取到价格对比的全链路跑通。
项目目标：不只是抓数据，而是懂逻辑
很多新人一上来就想写个脚本把全网价格抓下来，结果跑了两分钟就封号，或者数据乱成一锅粥。真正的比价系统，核心不是“抓”，而是“比”。我们要解决三个问题：
- 数据标准化：不同平台的价格字段、促销逻辑完全不同，怎么统一？
- 时效性处理：价格每分钟都在变，怎么保证对比的是同一时刻的价格？
- 风控规避：怎么在不被封IP的前提下，稳定获取数据？
本项目基于Python 3.9+开发，使用 Scrapy 框架处理并发，Redis 存储中间状态，Pandas 进行数据清洗。目标读者是有一定Python基础，但缺乏工程化思维的开发者。
目录结构：工程化的第一步
别再把所有代码堆在一个 main.py 里了。一个可维护的比价项目，目录结构决定了你的下限。
price-comparison/
├── spiders/ # 爬虫模块
│ ├── __init__.py
│ ├── base_spider.py # 基础爬虫，处理通用逻辑
│ ├── platform_a.py # 平台A专属逻辑
│ └── platform_b.py # 平台B专属逻辑
├── middlewares/ # 中间件
│ ├── proxy.py # IP代理池
│ └── header.py # User-Agent轮换
├── pipelines.py # 数据管道，清洗与入库
├── items.py # 数据项定义
├── settings.py # 配置中心
├── utils/
│ ├── db.py # 数据库操作封装
│ └── price_calc.py # 价格计算核心逻辑
├── main.py # 入口文件
└── requirements.txt # 依赖库
这种分层结构的好处是，当你需要新增一个平台时，只需要在 spiders 目录下加一个新文件，复用 base_spider.py 中的通用逻辑，其他模块几乎不用动。这就是工程化思维的体现。
核心代码实现：从抓取到计算
1. 基础爬虫类：统一接口设计
在 base_spider.py 中，我们定义一个抽象基类，强制子类实现特定的解析方法。
import scrapy
from scrapy.http import HtmlResponse
import jsonclass BaseSpider(scrapy.Spider):custom_settings = {'DOWNLOAD_DELAY': 2, # 全局延迟，防封'RETRY_TIMES': 3, # 重试次数}def __init__(self, *args, **kwargs):super().__init__(*args, **kwargs)self.valid_price_pattern = r'^\d+(\.\d{1,2})?$'def parse(self, response: HtmlResponse):# 这里由子类实现具体的解析逻辑raise NotImplementedError("Subclass must implement parse()")def validate_price(self, price_str: str) -> float:"""价格清洗核心函数1. 去除货币符号、空格2. 正则校验格式3. 转换为浮点数"""if not price_str:return 0.0clean_str = price_str.replace('￥', '').replace('$', '').strip()# 处理千分位逗号，如 1,000.00 -> 1000.00clean_str = clean_str.replace(',', '')if self.valid_price_pattern.match(clean_str):return float(clean_str)return 0.0
注意 validate_price 方法，这是比价系统的基石。很多垃圾数据就是在这里产生的，比如把“起”字或者“促销价”混进去了。
2. 具体平台解析：以某电商为例
在 platform_a.py 中，我们继承基类，处理特定平台的JSON接口返回。
from .base_spider import BaseSpider
from ..items import PriceItemclass PlatformASpider(BaseSpider):name = 'platform_a'allowed_domains = ['example-a.com']start_urls = ['https://example-a.com/api/search?keyword=iphone15']def parse(self, response):# 该平台返回JSON数据try:data = json.loads(response.body)except json.JSONDecodeError:returnitems = data.get('items', [])for item in items:yield PriceItem(platform=self.name,product_name=item.get('title', ''),raw_price=item.get('price', ''),# 调用父类的清洗方法clean_price=self.validate_price(item.get('price', '')),url=item.get('url', ''),# 记录抓取时间戳，用于后续比对fetch_time=response.meta.get('fetch_time', 0))
3. 价格对比逻辑：RFC 7578 的精神
在 utils/price_calc.py 中，我们实现核心对比算法。这里要特别提到 RFC 规范 的精神。虽然RFC主要定义网络协议，但在数据交换层面，我们遵循类似的“严格类型”和“明确状态码”原则。
在比价场景中，我们不能简单地比较 price_a < price_b。我们需要考虑：
- 时效窗口：两个价格抓取时间差超过5分钟，视为无效对比。
- 状态一致性：如果A平台显示“缺货”，B平台显示“有货”，价格再低也无意义。
from datetime import datetimedef compare_prices(item_a, item_b, time_window=300):"""对比两个价格项:param item_a: PriceItem:param item_b: PriceItem:param time_window: 有效时间窗口（秒）:return: dict 包含对比结果和原因"""result = {'is_valid': False,'winner': None,'reason': ''}# 1. 状态检查：必须都有货if item_a.get('stock_status') != 'in_stock' or item_b.get('stock_status') != 'in_stock':result['reason'] = 'Item out of stock'return result# 2. 时间窗口检查time_diff = abs(item_a['fetch_time'] - item_b['fetch_time'])if time_diff > time_window:result['reason'] = 'Time gap too large'return result# 3. 价格比较if item_a['clean_price'] < item_b['clean_price']:result['winner'] = item_a['platform']result['is_valid'] = Trueresult['reason'] = 'A is cheaper'elif item_b['clean_price'] < item_a['clean_price']:result['winner'] = item_b['platform']result['is_valid'] = Trueresult['reason'] = 'B is cheaper'else:result['reason'] = 'Price equal'return result
这段代码体现了工程化的严谨性。很多初学者写的比价脚本，直接拿最新抓到的A和B比，忽略了时间差，导致数据毫无参考价值。
运行与测试：确保代码可用
写完代码不是终点，能跑起来且结果正确才是。
1. 单元测试：针对核心逻辑
使用 pytest 对 validate_price 和 compare_prices 进行单元测试。
import pytest
from utils.price_calc import compare_pricesdef test_validate_price():spider = BaseSpider('test')assert spider.validate_price('￥1,000.50') == 1000.50assert spider.validate_price('99') == 99.0assert spider.validate_price('error') == 0.0def test_compare_prices_time_window():item_a = {'clean_price': 100, 'fetch_time': 1000, 'stock_status': 'in_stock', 'platform': 'A'}item_b = {'clean_price': 90, 'fetch_time': 2000, 'stock_status': 'in_stock', 'platform': 'B'}# 时间差1000秒，超过默认300秒窗口result = compare_prices(item_a, item_b)assert result['is_valid'] == Falseassert 'Time gap' in result['reason']
2. 集成测试：小范围运行
在 main.py 中启动Scrapy，限制只抓取前10个商品，观察日志输出。
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
import logginglogging.basicConfig(level=logging.INFO)def main():process = CrawlerProcess(get_project_settings())process.crawl('platform_a')process.crawl('platform_b')process.start()if __name__ == '__main__':main()
运行后，检查Redis中的数据是否正确入库，价格是否经过清洗。
优化扩展：从Demo到生产级
项目能跑只是及格线，想让它稳定运行，必须考虑以下优化：
代理IP池： 不要使用固定IP。接入商业代理池，通过
middlewares/proxy.py动态轮换。# middlewares/proxy.py 片段 def process_request(self, request, spider):proxy = self.get_random_proxy()request.meta['proxy'] = proxy# 记录代理使用日志，便于后续剔除失效代理分布式部署： 使用
Scrapy-Redis实现分布式爬取。多个节点共享同一个Redis队列，任务自动分配，避免重复抓取。数据持久化： 将清洗后的价格数据存入 PostgreSQL 或 ClickHouse，用于历史趋势分析。Pandas 可以直接读取数据库进行绘图。
异常监控： 集成 Sentry 或简单的日志告警，当爬虫失败率超过阈值时，发送钉钉/微信通知。
小结：项目思维比语法更重要
通过这个【平台购物比价怎么比】的实战项目，我们不仅学会了如何抓取和对比价格，更重要的是理解了模块化设计、数据清洗和容错处理在真实工程中的重要性。
你不再需要纠结于某个正则表达式的写法，而是应该关注：
- 代码是否易于扩展？
- 数据是否可信？
- 系统是否稳定？
这份【速查手册】的核心不在于代码片段，而在于解决这类问题的思维框架。当你面对新的业务需求时，能否快速拆解成“数据获取”、“数据清洗”、“业务逻辑”、“结果输出”四个模块，是衡量你技术成熟度的关键。
你公司项目里是怎么处理的？欢迎评论
在实际工作中，你们遇到价格波动剧烈、促销规则复杂的情况时，是选择硬编码规则，还是引入机器学习模型进行预测？或者在分布式爬虫部署上踩过什么深坑？欢迎在评论区分享你的经验，一起避坑。
