Python爬虫实战：自动采集Epic免费游戏数据-育师

1. 项目背景与核心价值

Epic Games每周免费游戏的福利活动已经持续多年，成为PC玩家获取正版游戏的重要渠道。但官方并未提供完整的历史免费游戏清单，这给想要回顾或统计数据的玩家带来不便。作为一名游戏爱好者和Python开发者，我决定写一个爬虫来自动采集这些珍贵的历史数据。

这个项目看似简单，实则涉及多个技术难点：Epic商店页面采用动态加载，需要处理反爬机制，还要解决数据存储和去重问题。通过这个实战案例，我们可以掌握现代网页爬虫的完整开发流程，包括：

动态页面的数据抓取技巧
常见反爬措施的应对方案
数据的清洗与持久化存储
定时任务的自动化部署

2. 技术选型与工具准备

2.1 核心工具链

经过对比测试，我选择了以下工具组合：

# 主要依赖库 import requests from selenium import webdriver from bs4 import BeautifulSoup import pandas as pd import schedule import time

选择理由：

Selenium：应对Epic商店的JavaScript动态渲染
BeautifulSoup：HTML解析比正则表达式更稳定
Pandas：方便进行数据清洗和导出
Schedule：实现定时自动抓取

2.2 环境配置要点

注意：建议使用Python 3.8+版本，避免库兼容性问题

安装关键依赖时常见报错解决方案：

# 如果遇到SSL错误 pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org package_name # Windows系统可能需要额外安装 pip install pywin32

3. 爬虫核心实现解析

3.1 页面结构分析

通过开发者工具(F12)检查Epic商店页面，发现关键特征：

免费游戏信息通过API异步加载
数据接口有签名验证
历史记录需要模拟滚动加载

3.2 完整爬取流程

def get_free_games(): # 1. 初始化浏览器驱动 options = webdriver.ChromeOptions() options.add_argument('--headless') # 无头模式 driver = webdriver.Chrome(options=options) try: # 2. 访问目标页面 driver.get('https://store.epicgames.com/zh-CN/free-games') # 3. 等待动态加载完成 time.sleep(5) # 显式等待更佳 # 4. 获取页面源码 html = driver.page_source soup = BeautifulSoup(html, 'html.parser') # 5. 解析游戏数据 games = [] for item in soup.select('[data-component="FreeGamesCard"]'): title = item.select_one('h3').text.strip() date = item.select_one('time')['datetime'] games.append({'title':title, 'date':date}) return games finally: driver.quit()

3.3 反爬应对策略

Epic商店采用了多种反爬措施，解决方案：

请求频率限制：
- 添加随机延迟：time.sleep(random.uniform(1, 3))
- 使用代理IP池轮换
User-Agent检测：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' }

行为验证：

模拟人类滚动行为：

driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")

4. 数据存储与处理

4.1 存储方案对比

方案	优点	缺点	适用场景
CSV	简单易用	查询效率低	小规模数据
SQLite	无需服务器	并发性能差	本地应用
MySQL	功能完善	需要部署	大规模数据

最终选择SQLite作为存储方案，平衡了易用性和功能性。

4.2 数据去重实现

import sqlite3 def save_to_db(games): conn = sqlite3.connect('epic_games.db') c = conn.cursor() # 创建表（如果不存在） c.execute('''CREATE TABLE IF NOT EXISTS free_games (title TEXT, date TEXT, UNIQUE(title, date))''') # 批量插入并忽略重复 c.executemany('INSERT OR IGNORE INTO free_games VALUES (?, ?)', [(g['title'], g['date']) for g in games]) conn.commit() conn.close()

5. 部署与自动化

5.1 定时任务配置

def job(): games = get_free_games() save_to_db(games) print(f"已获取{len(games)}款免费游戏") # 每周五中午12点执行 schedule.every().friday.at("12:00").do(job) while True: schedule.run_pending() time.sleep(60)

5.2 服务器部署建议

Linux环境：
- 使用screen或tmux保持会话
- 安装必要依赖：
```
sudo apt-get install chromium-chromedriver
```

日志记录：

import logging logging.basicConfig(filename='epic_spider.log', level=logging.INFO)

6. 常见问题排查

6.1 元素定位失败

现象：NoSuchElementException错误

解决方案：

增加显式等待：

from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, "h3")) )

检查iframe嵌套情况

6.2 数据不完整

现象：只获取到部分游戏

原因：动态加载未触发

解决方法：

# 模拟滚动到底部 last_height = driver.execute_script("return document.body.scrollHeight") while True: driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") time.sleep(2) new_height = driver.execute_script("return document.body.scrollHeight") if new_height == last_height: break last_height = new_height

7. 项目优化方向

数据可视化：
- 使用Matplotlib生成免费游戏时间分布图
- 制作游戏类型词云

通知功能：

集成邮件/Telegram通知

import smtplib def send_email(subject, body): server = smtplib.SMTP('smtp.gmail.com', 587) server.starttls() server.login('your_email@gmail.com', 'password') server.sendmail('from', 'to', f'Subject: {subject}\n\n{body}') server.quit()