在数据驱动的时代，爬虫已成为获取公开信息的重要工具。但传统爬虫部署方式（如自建服务器）存在成本高、维护复杂、难以应对流量波动等问题。Serverless架构的出现，为轻量级爬虫提供了更优解——无需管理服务器，按实际执行次数计费，自动扩缩容，特别适合中小规模数据采集场景。本文将通过实际案例，拆解如何用Serverless快速搭建一个高效、稳定的爬虫系统。
一、为什么选择Serverless部署爬虫？
传统爬虫的痛点
假设你需要每天采集1000条电商商品价格数据，用传统方案可能会遇到这些问题：
- 成本浪费：购买24小时运行的云服务器，实际爬取可能只需几小时，资源闲置率高
- 维护负担：需手动处理服务器故障、更新系统依赖、监控运行状态
- 扩展性差：遇到促销活动时，数据量激增可能导致服务器崩溃，手动扩容耗时
Serverless的天然优势
Serverless（无服务器架构）将这些问题一网打尽：
- 按需付费：仅在代码执行时产生费用，不运行不收费（例如AWS Lambda单次请求成本约$0.00001667）
- 自动扩缩容：无论每天100条还是10万条数据，系统自动分配资源
- 免运维：云平台负责底层服务器管理，开发者专注业务逻辑
- 快速迭代：代码修改后立即部署，无需重启服务
案例对比：某团队将每日采集量5000条的新闻爬虫从ECS迁移到Serverless后，月成本从30降至0.8，且无需再处理服务器崩溃问题。
二、核心组件选型与架构设计
技术栈选择
主流Serverless平台对比：
| 平台 | 单次执行超时 | 免费额度 | 优势场景 |
|---|---|---|---|
| AWS Lambda | 15分钟 | 每月100万次 | 国际业务，生态丰富 |
| 阿里云FC | 10分钟 | 每月10万次 | 国内业务，网络延迟低 |
| 腾讯云SCF | 15分钟 | 每月100万次 | 与微信生态集成方便 |
推荐组合：
- 国内项目：阿里云函数计算 + SLS日志服务
- 跨国项目：AWS Lambda + DynamoDB
- 简单任务：Vercel Serverless Functions（免费层足够）
典型架构图
[定时触发器] → [Serverless函数] → [HTTP请求] → [目标网站] ↓ ↑ [对象存储] ← [数据清洗] ← [解析结果]- 触发层：定时任务（如每天8点）或事件触发（如API调用）
- 执行层：Serverless函数完成爬取、解析、存储全流程
- 存储层：JSON/CSV文件存对象存储，结构化数据入数据库
三、从0到1实现步骤（以阿里云为例）
1. 创建函数服务
登录阿里云函数计算控制台，新建Python 3.9运行时函数：
# index.py 示例代码 import requests from bs4 import BeautifulSoup import json import oss2 def handler(event, context): # 1. 爬取目标页面 url = "https://example.com/products" headers = {"User-Agent": "Mozilla/5.0"} response = requests.get(url, headers=headers) # 2. 解析HTML soup = BeautifulSoup(response.text, 'html.parser') products = [] for item in soup.select(".product-item"): products.append({ "name": item.select_one(".name").text.strip(), "price": item.select_one(".price").text.strip() }) # 3. 存储到OSS auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>') bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', 'your-bucket') bucket.put_object('products/data.json', json.dumps(products)) return {"status": "success", "count": len(products)}2. 配置触发器
设置每日9点自动执行：
- 在函数配置页点击「触发器」→「创建触发器」
- 选择「定时触发器」，输入Cron表达式
0 0 9 * * * - 保存后系统会自动在指定时间调用函数
3. 依赖管理
通过requirements.txt声明第三方库：
requests==2.28.1 beautifulsoup4==4.11.1 oss2==2.16.0平台会在部署时自动安装这些依赖。
4. 日志与监控
- 日志查看：在函数「日志查询」页实时查看输出
- 错误告警：设置「告警规则」，当错误率超过阈值时通知
- 性能分析：通过「执行日志」查看每次执行的耗时与内存使用
四、进阶优化技巧
1. 反爬策略应对
常见反爬机制：
- User-Agent检测：随机更换UA头
- IP限制：使用代理IP池（如Bright Data）
- 验证码：集成打码平台API（如超级鹰）
代码优化示例：
import random USER_AGENTS = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit..." ] headers = { "User-Agent": random.choice(USER_AGENTS), "Referer": "https://www.google.com/" }2. 分布式爬取
当数据量增大时，可采用分片处理：
def handler(event, context): page = int(event['queryStringParameters']['page']) if 'page' in event['queryStringParameters'] else 1 url = f"https://example.com/products?page={page}" # 其余逻辑不变通过API网关传入不同页码参数，实现并行爬取。
3. 数据存储优化
- 小文件合并：每天将多个JSON文件合并为单个压缩包
- 数据库选择：
- 结构化数据 → 云数据库RDS
- 非结构化数据 → 对象存储OSS
- 实时分析 → 时序数据库InfluxDB
五、成本测算与控制
费用构成
以阿里云为例：
- 函数计算：按调用次数和执行时间计费（100万次/月免费）
- 对象存储：按存储量和流量计费（5GB免费存储）
- 外网流出流量：0.5元/GB（建议将结果存内网RDS）
月成本估算：
- 每日爬取1000条，每条生成1KB数据 → 月存储量约30MB（免费）
- 函数执行时间总计500秒（0.000011元/秒）→ 月约0.0055元
- 总成本：≈0元（在免费额度内）
省钱技巧
- 启用「预留实例」处理固定负载
- 设置「函数并发度」避免资源浪费
- 使用「冷启动优化」减少首次执行延迟
六、常见问题Q&A
Q1：被网站封IP怎么办？
A：立即启用备用代理池，建议使用隧道代理（如站大爷IP代理），配合每请求更换IP策略。代码中可集成代理切换逻辑：
proxies = { "http": "http://user:pass@10.10.1.10:3128", "https": "http://user:pass@10.10.1.10:1080", } response = requests.get(url, headers=headers, proxies=proxies)Q2：如何避免重复采集？
A：使用Bloom Filter或Redis记录已采集URL。示例Redis方案：
import redis r = redis.Redis(host='your-redis-host', port=6379, db=0) def is_url_crawled(url): return r.get(url) is not None def mark_url_as_crawled(url): r.setex(url, 86400, "1") # 24小时过期Q3：Serverless爬虫适合哪些场景？
A：适合数据量波动大、采集频率不固定的场景，例如：
- 每日几百-几十万条的新闻/商品采集
- 突发事件时的紧急数据抓取
- 监控竞品价格变动
不推荐场景： - 持续高并发（如每秒1000+请求）
- 需要保持长连接的爬虫
- 复杂数据处理（建议用Serverless触发Flink任务）
Q4：如何调试Serverless爬虫？
A：分三步：
- 本地测试：用
pytest模拟HTTP请求 - 在线调试：通过控制台「测试函数」功能传入测试事件
- 日志追踪：在代码中增加详细日志输出，配合XRay等追踪工具
Q5：数据采集合法性如何保障？
A：务必遵守：
robots.txt协议- 目标网站的服务条款
- 《网络安全法》相关规定
建议： - 控制采集频率（如每秒不超过1次）
- 仅采集公开可访问数据
- 避免存储敏感个人信息
结语
Serverless架构正在重塑轻量级爬虫的开发模式。通过云平台的弹性能力，开发者可以更专注于数据采集逻辑本身，而无需被服务器运维分散精力。从本文的案例可以看出，即使是技术背景不强的团队，也能在几小时内完成从0到1的部署。未来随着Serverless生态的完善，爬虫的自动化、智能化程度将进一步提升，数据采集的门槛将越来越低。
