3个后端避坑点：indeed.com爬虫实战保姆级教程
面试被问原理答不上来，是转行后端最扎心的时刻。很多候选人简历上写着精通并发、熟悉网络协议，面试官一深挖 indeed.com 的反爬机制或数据清洗逻辑，立马卡壳。别慌，这篇保姆级教程带你从零搭建一个高可用的职位数据抓取系统，把书本上的理论变成手里能打的代码。
项目目标与背景拆解
很多人觉得爬虫就是发个 HTTP 请求，解析 HTML 完事。但在 indeed.com 这种工业级站点上，这种想法会撞得头破血流。indeed.com 作为全球领先的招聘平台，其前端渲染逻辑复杂，后端接口隐蔽，且具备极强的反自动化检测能力。
本项目目标不是简单的“爬取”，而是构建一个具备容错机制、数据清洗管道和结构化存储的微型后端服务。我们将重点解决三个痛点：
- 动态内容获取：如何绕过前端 JS 渲染，直接命中 API 接口。
- 数据标准化：将杂乱的职位信息（薪资、地点、技能）转化为结构化 JSON。
- 稳定性保障：处理网络波动、IP 封禁和异常数据。
对于转岗从业者，这个项目能帮你理解生产环境中数据获取的真实复杂度，而不仅仅是玩具项目。
目录结构与工程化思维
抛弃“单文件脚本”的思维，我们要用工程化的方式组织代码。一个清晰的目录结构是维护性的基础，也是面试中展示架构能力的加分项。
indeed_crawler/
├── config/
│ └── settings.py # 配置管理：URL、请求头、频率限制
├── core/
│ ├── fetcher.py # 核心抓取逻辑：请求封装、重试机制
│ ├── parser.py # 数据解析逻辑：正则提取、JSON 清洗
│ └── validator.py # 数据校验：字段完整性检查
├── storage/
│ └── db.py # 存储层：数据库连接、SQL 操作
├── utils/
│ └── logger.py # 日志工具：统一日志格式
├── main.py # 入口文件：任务调度
└── requirements.txt # 依赖管理
这种分层设计遵循了单一职责原则。fetcher 只负责拿数据，parser 只负责处理数据，storage 只负责存数据。当面试官问“如果我想把存储从 MySQL 换成 MongoDB，要改哪里？”时，你能瞬间答出“只需修改 storage/db.py，其他模块无感”，这就是架构能力的体现。
核心代码实现与逐行解析
这是最硬核的部分。我们将使用 Python 的 requests 和 BeautifulSoup（尽管我们主要解析 JSON，但 BS4 在调试 HTML 结构时依然有用），以及 re 模块进行正则提取。
1. 配置管理与请求头伪装
在 config/settings.py 中，我们定义全局配置。不要硬编码，配置应该外部化。
import osclass Config:# 基础 URL，注意替换具体的搜索关键词BASE_URL = "https://www.indeed.com/jobs"# 模拟真实浏览器，避免被简单识别HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36","Accept-Language": "en-US,en;q=0.9","Accept": "application/json, text/javascript, */*; q=0.01"}# 请求间隔，防止触发频率限制REQUEST_INTERVAL = 2.5
2. 核心抓取器：处理动态 API
indeed.com 的职位列表通常由前端 JS 异步加载。直接爬取 HTML 拿不到数据。我们需要找到它的内部 API 端点。通过浏览器开发者工具（F12）的 Network 面板，我们可以发现其数据接口通常返回 JSON 格式。
以下是 core/fetcher.py 的核心逻辑：
import requests
import time
import random
from config.settings import Config
from utils.logger import get_loggerlogger = get_logger(__name__)class DataFetcher:def __init__(self):self.session = requests.Session()self.session.headers.update(Config.HEADERS)def fetch_job_list(self, query, location="Remote"):"""获取职位列表 JSON 数据"""params = {"q": query,"l": location,"fromage": "d3", # 最近3天"limit": 50}try:# 引入随机延时，模拟人类行为time.sleep(random.uniform(1.0, Config.REQUEST_INTERVAL))logger.info(f"Fetching: {query} in {location}")response = self.session.get(Config.BASE_URL, params=params, timeout=10)if response.status_code != 200:logger.warning(f"Status code: {response.status_code}")return None# indeed 返回的是 JSON，但有时包裹在 HTML 中，这里假设是纯 JSON API# 实际项目中可能需要解析 HTML 中的 <script> 标签提取 JSONreturn response.json()except requests.exceptions.RequestException as e:logger.error(f"Request failed: {e}")return None
逐行讲解：
- Session 复用：
requests.Session会保持 Cookie 和连接池，比每次新建requests.get性能更高，也更像真实浏览器行为。 - 随机延时：
random.uniform比固定time.sleep更自然，避免被频率检测算法捕捉。 - 异常捕获：网络不稳定是常态，必须捕获
RequestException，否则程序会崩溃。
3. 数据解析与清洗
拿到 JSON 后，数据往往是嵌套的。indeed.com 的返回结构中，职位信息通常在 results 数组下。我们需要提取关键字段：标题、公司、薪资、地点。
core/parser.py 实现如下：
import re
from datetime import datetimeclass JobParser:@staticmethoddef parse_jobs(raw_data):"""将原始 JSON 转换为标准字典列表"""if not raw_data or 'results' not in raw_data:return []jobs = []for item in raw_data['results']:try:title = item.get('title', '').strip()company = item.get('company', '').strip()location = item.get('location', '').strip()# 薪资字段通常在 'salary' 或 'salaryMin'/'salaryMax'# 这里假设结构为 {"salary": "50K - 70K per year"}salary_text = item.get('salary', 'N/A')# 使用正则提取数字，方便后续分析salary_numbers = re.findall(r'\d+', salary_text)salary_min = int(salary_numbers[0]) if salary_numbers else Nonesalary_max = int(salary_numbers[-1]) if len(salary_numbers) > 1 else None# 提取技能标签skills = [tag.get('label') for tag in item.get('tags', []) if tag.get('label')]job_obj = {"title": title,"company": company,"location": location,"salary_min": salary_min,"salary_max": salary_max,"skills": skills,"url": item.get('url', ''),"crawled_at": datetime.now().isoformat()}jobs.append(job_obj)except Exception as e:logger.error(f"Parse error: {e}")continuereturn jobs
关键点：
- 防御性编程：使用
.get()而不是[]访问字典，防止 KeyError。 - 正则提取：薪资格式五花八门，正则
r'\d+'是最通用的提取手段。 - 时间戳：记录
crawled_at，方便后续做数据时效性分析。
运行与测试：从本地到生产
代码写完了，怎么跑？别直接 python main.py 就完事。我们需要一个主调度器，并且加入简单的重试机制。
main.py 示例：
from core.fetcher import DataFetcher
from core.parser import JobParser
from storage.db import Database
from config.settings import Config
from utils.logger import get_loggerlogger = get_logger(__name__)def main():fetcher = DataFetcher()parser = JobParser()db = Database() # 假设已初始化连接keywords = ["Python Backend", "Java Microservices"]for kw in keywords:logger.info(f"Starting crawl for: {kw}")# 1. 获取raw_data = fetcher.fetch_job_list(kw)# 2. 解析if raw_data:jobs = parser.parse_jobs(raw_data)logger.info(f"Parsed {len(jobs)} jobs")# 3. 存储 (这里简化为批量插入)if jobs:db.batch_insert(jobs)# 4. 控制频率time.sleep(Config.REQUEST_INTERVAL)if __name__ == "__main__":main()
测试策略：
- 单元测试：针对
parser.py，构造几个典型的 JSON 片段，测试解析结果是否符合预期。重点测试空值、格式异常的情况。 - 集成测试：在本地运行
main.py，观察日志输出。检查数据库是否正确写入数据。 - 压力测试：增加关键词数量，观察程序是否稳定，IP 是否被封。如果被封，说明需要引入代理池（Proxy Pool）。
优化扩展与高频考点深挖
这是区分“脚本小子”和“后端工程师”的关键章节。面试中，面试官往往会问：“你的系统如果并发量上来怎么办？”或者“如何保证数据准确性？”
1. 并发改造：从串行到异步
上面的代码是串行执行，效率低。在生产环境，我们通常使用 asyncio 和 aiohttp。
改造思路：
- 将
DataFetcher改为异步类。 - 使用
asyncio.gather并发请求多个关键词。 - 设置信号量（Semaphore）控制并发数，例如同时最多 5 个请求，避免打爆目标服务器或自己的 IP。
2. 数据准确性与去重
网络爬取的数据往往有噪声。如何保证入库数据的唯一性？
- 唯一索引：在数据库中，对
title + company + location建立唯一索引。 - 哈希去重：在入库前，计算职位内容的 MD5 值，如果数据库中已存在相同 MD5，则跳过。
3. 薪资区间与地区差异分析
这是转岗从业者最关心的“变现”能力。通过爬虫收集的数据，我们可以做简单的统计分析。
| 地区 | 平均最低薪资 (USD) | 平均最高薪资 (USD) | 主要技术栈 |
|---|---|---|---|
| Remote | 60,000 | 95,000 | Python, Go, Docker |
| New York | 85,000 | 130,000 | Java, Kafka, K8s |
| Austin | 70,000 | 110,000 | Python, AWS, React |
注：数据仅为示例，实际需运行爬虫获取。
通过这样的表格，你能直观看到：
- 地区差异：远程职位的平均薪资下限往往低于一线城市，但上限可能更高（因为大厂远程岗多）。
- 技术溢价：掌握 Docker/K8s 的职位薪资区间明显高于纯 CRUD 岗位。
在面试中，如果你能展示你不仅会爬数据，还能通过数据洞察行业趋势，这会极大提升你的竞争力。
4. 反爬应对策略
indeed.com 可能会返回验证码或 403 错误。
- 代理池：引入
RotatingProxyManager，轮换 IP。 - Cookie 池：维护一组有效的 Cookie，定期更新。
- 人机验证：如果触发 reCAPTCHA，需接入打码平台（如 2Captcha）进行自动识别，但这涉及成本，需在项目中权衡。
小结与行动指南
这个项目看似简单，实则涵盖了后端开发的多个核心模块：网络通信、数据解析、存储设计、并发控制、日志监控。
面试避坑指南：
- 不要只说“用了 requests”：要说出为什么用 Session，如何处理超时，如何模拟浏览器指纹。
- 不要忽视异常处理：生产环境中，异常处理代码量往往超过正常逻辑。展示你的
try-except块，展示你的日志记录。 - 数据价值大于代码本身：强调你通过爬虫获取的数据如何帮助分析薪资、技能趋势，体现你的业务思维。
你更常用哪种写法？评论区交流
是喜欢用 Scrapy 框架快速搭建，还是像本文这样用 requests + asyncio 手写底层逻辑以掌握更多细节？或者你有更好的反爬应对方案？欢迎在评论区分享你的实战经验，一起避坑。
