51job招聘数据爬虫与可视化分析工程实践

简介：本资源是一份高质量的Python爬虫与数据可视化综合实践项目，面向高校计算机、数据科学相关专业学生及初学者，解决课程设计与期末大作业中“从数据采集到分析呈现”全流程实践难题。压缩包共39个文件，含3个核心Python脚本（爬取、存储、可视化）、24个HTML图表报告、4个Excel原始与清洗后数据集、1个SQL建表语句及环境配置文件（yaml、requirements.txt），辅以chromedriver、JS反爬绕过脚本和详细README说明，整体6.68MB，开箱即用。已有531人学习下载，项目源自作者获97分的高分大作业，代码全程中文注释，逻辑清晰、模块解耦，既适合零基础者理解爬虫+Pandas+Matplotlib/Plotly可视化全链路，也便于进阶用户基于现有结构拓展岗位数据（如Python、PyTorch、TensorFlow等技术栈）横向对比分析。

1. 这不是又一个“requests + matplotlib”套壳作业：它用真实招聘平台反爬对抗+多维数据建模，把课程大作业拉到了企业级数据看板的临界点

很多同学交完爬虫大作业才发现——代码能跑通，但数据只有200条；图表能画出来，但维度单一、无法支撑业务判断；文档写满“本系统采用Python3.8”，却没提chromedriver版本锁死在114.0.5735.90这个关键约束。而这份97分项目，从stealth.min.js注入到CreateTable.sql字段设计，从GetData.py的请求头轮换策略到DataView.py中对薪资区间做箱线图+核密度双渲染，全程按真实招聘数据分析场景闭环。它不教你怎么写第一个print("Hello World")，而是带你拆解：当51job对Selenium驱动做Canvas指纹检测时，spider-for51job-main目录下那个被重命名的stealth.min.js到底替换了哪7个WebDriver属性？为什么requirements.txt里fake-useragent==4.0.2必须锁定，而pandas却允许>=1.3.0？适合两类人：一是急需高分交付、但不想抄来一堆报错代码的同学；二是想从课程作业跳到实习岗数据采集模块开发的进阶者——你拿到的不是源码包，是一份带完整技术决策链路的工程快照。

2. 爬虫层：绕过51job动态渲染与行为检测的三重加固实现

2.1 为什么不用纯requests？51job的DOM结构与反爬逻辑决定了Selenium是唯一可行路径

51job首页加载后，职位列表并非静态HTML，而是通过window.__INITIAL_STATE__注入的JSON数据经React组件动态渲染。直接抓取HTML返回的是空<div id="root"></div>。更关键的是，其登录态校验依赖Canvas指纹（检测getContext('2d')返回对象的toDataURL()哈希值）和WebGL参数特征。requests无法执行JS，自然无法触发渲染，更无法伪造这些硬件级指纹。项目选择Selenium + ChromeDriver组合，并非因为“简单”，而是因spider-for51job-main目录中预置的stealth.min.js已针对51job的检测点做了精准修补——它不是通用隐身插件，而是为该站点定制的补丁集。

提示：stealth.min.js并非直接引入，而是通过driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {...})注入到每个新页面的document前，确保在任何JS执行前覆盖navigator.webdriver等敏感属性。这是绕过51job“检测到自动化工具”提示的核心动作。

2.2 chromedriver版本与Chrome内核的硬性绑定关系及本地化部署方案

项目根目录下的chromedriver.exe文件名未带版本号，但实际对应Chrome 114.0.5735.90。若本地Chrome升级至115+，运行GetData.py会抛出SessionNotCreatedException: session not created: This version of ChromeDriver only supports Chrome version 114。解决方案不是降级浏览器，而是替换驱动：

# 查看本地Chrome版本 chrome --version # 输出如：Google Chrome 115.0.5790.170 # 下载匹配驱动（以Windows为例） wget https://chromedriver.storage.googleapis.com/115.0.5790.170/chromedriver_win32.zip unzip chromedriver_win32.zip mv chromedriver.exe ./chromedriver.exe

environment.yaml中chrome=114的声明即为此服务。若使用conda环境，需同步执行：

conda install -c conda-forge chrome=114

否则conda env create -f environment.yaml会因依赖冲突失败。

2.3 GetData.py中的请求头轮换与IP代理池预留接口

GetData.py第42行定义了HEADERS_POOL，包含5组User-Agent字符串，每发起一次请求即随机选取：

HEADERS_POOL = [ {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'}, {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'}, # ... 其余3组 ]

但注意：当前代码未启用IP代理。GetData.py第68行注释写着# TODO: integrate proxy pool for IP rotation，说明作者预留了扩展位。若需应对51job的IP频控（单IP每分钟超30次请求触发验证码），可在此处接入商业代理API，例如：

# 替换原driver初始化部分 proxy_url = "http://user:pass@proxy.example.com:8080" # 实际需替换为有效代理 options = webdriver.ChromeOptions() options.add_argument(f'--proxy-server={proxy_url}') driver = webdriver.Chrome(options=options)

关键参数说明：--proxy-server必须为HTTP协议格式，认证信息需Base64编码嵌入URL；若代理要求单独认证，需改用Selenium Wire库替代原生Selenium。

2.4 数据清洗环节：从原始HTML到结构化Excel的字段映射逻辑

GetData.py爬取的原始数据存于爬虫.xlsx，但其列名与数据库表结构存在语义转换。例如：

该映射在DataStorage.py的clean_data()方法中实现。若需新增字段（如提取“岗位JD”中的技术栈关键词），需修改正则模式：

# 原代码提取技能关键词（第112行） skill_pattern = r'(Python|Java|SQL|TensorFlow|PyTorch)' df['skills'] = df['job_description'].str.findall(skill_pattern).apply(lambda x: list(set(x)))

此处skill_pattern可扩展为更全面的技能词典，避免漏匹配“React”写成“react”或“REACT”的情况。

3. 可视化层：用Plotly+Dash构建可交互的招聘市场分析看板

3.1 chart目录下各图表的技术选型依据：为什么不用Matplotlib而选Plotly？

chart目录包含salary_distribution.html、tech_stack_pie.html等独立HTML文件，均由Plotly生成。原因有三：
第一，51job数据天然含地理信息（城市字段），Plotly的px.choropleth可直接绑定中国省级GeoJSON，而Matplotlib需手动加载shp文件并处理投影；
第二，薪资分布需支持双Y轴（左侧直方图+右侧核密度曲线），Plotly用make_subplots(specs=[[{"secondary_y": True}]])一行配置即可，Matplotlib需手动管理Axes对象；
第三，课程作业常需导出为网页分享，Plotly的fig.write_html()生成自包含HTML，无外部依赖，而Matplotlib导出HTML需额外配置mpld3且交互性弱。

注意：DataView.py第89行fig.write_html("chart/salary_distribution.html", include_plotlyjs='cdn')中include_plotlyjs='cdn'表示从CDN加载JS，若需离线运行，应改为include_plotlyjs='directory'并确保plotlyjs/目录存在。

3.2 DataView.py中多维度交叉分析的实现逻辑

DataView.py核心功能是生成python.xlsx、tensorflow.xlsx等分领域数据集。其关键在于filter_by_keyword()函数：

def filter_by_keyword(df, keyword_list): """按关键词过滤岗位，支持OR逻辑""" mask = pd.Series([False] * len(df)) for kw in keyword_list: mask |= df['job_title'].str.contains(kw, case=False, na=False) | \ df['job_description'].str.contains(kw, case=False, na=False) return df[mask].copy()

调用时传入['python', 'django', 'flask']，即可获取Python全栈岗位数据。此函数被用于生成python.xlsx——它不是简单关键词搜索，而是结合了job_title和job_description双字段模糊匹配，避免漏掉“后端开发（Python）”这类标题不含Python但JD明确要求的岗位。

3.3 ECharts作为备选方案的集成路径（适配企业级需求）

虽然项目默认用Plotly，但README.md第15行注明“ECharts版本见echarts_version分支”。若需对接企业已有BI系统（如Apache Superset），可切换至ECharts：

git checkout echarts_version pip install pyecharts==2.0.2

此时DataView.py中generate_salary_chart()函数将调用Bar().add_xaxis(...).add_yaxis(...).render("chart/salary_bar.html")。关键差异在于：ECharts需手动引入echarts.min.js，而Plotly自动注入；ECharts的dataset配置更灵活，支持直接绑定DataFrame，但学习成本高于Plotly的链式调用。

3.4 基于SQL的数据建模：CreateTable.sql中的范式设计考量

CreateTable.sql创建了jobs主表及companies、skills关联表，符合第三范式（3NF）。例如：

CREATE TABLE jobs ( id INTEGER PRIMARY KEY, title TEXT NOT NULL, salary_min REAL, salary_max REAL, city_id INTEGER, FOREIGN KEY (city_id) REFERENCES cities(id) ); CREATE TABLE skills ( job_id INTEGER, skill_name TEXT, PRIMARY KEY (job_id, skill_name), FOREIGN KEY (job_id) REFERENCES jobs(id) );

这种设计避免了skills字段存储"Python,Java,SQL"字符串带来的查询困难（如“查同时要求Python和SQL的岗位”需LIKE模糊匹配）。实际分析时，用以下SQL即可：

SELECT j.title, j.city FROM jobs j JOIN skills s1 ON j.id = s1.job_id AND s1.skill_name = 'Python' JOIN skills s2 ON j.id = s2.job_id AND s2.skill_name = 'SQL';

若需快速验证，可直接在SQLite中执行（项目用sqlite3作DB）：

sqlite3 data.db < CreateTable.sql sqlite3 data.db "SELECT COUNT(*) FROM jobs;"

4. 工程化落地：从源码运行到二开适配的完整链路

4.1 requirements.txt的依赖分层策略与版本锁定原理

requirements.txt并非简单罗列包名，而是按功能分层：

# 核心爬虫依赖（严格锁定） selenium==4.10.0 fake-useragent==4.0.2 # 数据处理依赖（宽松兼容） pandas>=1.3.0 numpy>=1.21.0 # 可视化依赖（指定最小版本） plotly>=5.15.0 # 开发辅助（仅本地需要） jupyter==1.0.0

其中selenium==4.10.0必须锁定，因其CDP（Chrome DevTools Protocol）命令在4.11+版本中变更了Page.addScriptToEvaluateOnNewDocument的参数结构，导致stealth.min.js注入失效。而pandas允许>=1.3.0，因DataStorage.py中所有pd.read_excel()调用均兼容1.3.0+的API。

提示：若pip install -r requirements.txt报错ModuleNotFoundError: No module named 'webdriver_manager'，说明requirements.txt遗漏了该包。需手动安装：pip install webdriver-manager==4.0.1（此版本与selenium 4.10.0兼容）。

4.2 environment.yaml与conda环境的不可替代性

environment.yaml定义了完整的运行环境，包括Python版本、channel源及非PyPI包：

name: spider-env channels: - conda-forge - defaults dependencies: - python=3.9 - pip - pip: - -r file:requirements.txt

关键点在于conda-forgechannel——fake-useragent的4.0.2版本在defaultschannel中不存在，仅conda-forge提供。若仅用pip install，可能因pyyaml版本冲突导致fake-useragent初始化失败（报错AttributeError: 'NoneType' object has no attribute 'get'）。正确流程是：

conda env create -f environment.yaml conda activate spider-env python GetData.py # 此时所有依赖已就绪

4.3 二开必备：向爬虫注入自定义字段的实操步骤

假设需新增“岗位是否支持远程办公”字段，需修改三处：

1. HTML解析层：在GetData.py的parse_job_detail()函数中，查找包含“远程”、“居家”、“telecommute”的DOM节点：

   remote_elem = soup.find(string=re.compile(r'远程|居家|telecommute', re.I)) item['is_remote'] = bool(remote_elem)

2. 数据清洗层：在DataStorage.py的clean_data()中，为is_remote添加布尔类型校验：

   df['is_remote'] = df['is_remote'].astype(bool)

3. 数据库层：修改CreateTable.sql，在jobs表中添加字段：

   ALTER TABLE jobs ADD COLUMN is_remote BOOLEAN DEFAULT FALSE;

   并更新DataStorage.py的save_to_db()方法，将is_remote写入该字段。

完成上述修改后，运行python GetData.py即可生成含新字段的Excel与数据库。

4.4 验证爬虫稳定性的三个黄金指标

不靠“能跑通”判断质量，而用以下指标验证：

执行python DataView.py后，检查chart/目录下是否生成全部HTML文件，且打开后无JavaScript错误（F12控制台无ReferenceError）。若tech_stack_pie.html空白，大概率是python.xlsx中skills列为空，需回溯GetData.py的关键词匹配逻辑。

5. 高分作业的隐藏技巧：用SQL窗口函数实现薪资竞争力分析

课程作业常止步于“平均薪资”，但97分项目在DataView.py中埋了一个高阶技巧：用SQLite的PERCENT_RANK()计算岗位薪资在区域内的分位值。例如，上海Python岗位月薪15K，在上海所有岗位中处于第82百分位，说明其薪酬竞争力强。实现方式是在DataStorage.py的save_to_db()后追加SQL：

-- 计算各城市薪资分位 CREATE VIEW city_salary_rank AS SELECT city, title, salary_min, PERCENT_RANK() OVER (PARTITION BY city ORDER BY salary_min) as rank_in_city FROM jobs WHERE salary_min IS NOT NULL;

然后在DataView.py中读取该视图：

df_rank = pd.read_sql_query("SELECT * FROM city_salary_rank WHERE city='上海' AND rank_in_city > 0.8", conn) print(f"上海高薪Python岗位：{len(df_rank)}个") # 输出数量即竞争力佐证

此技巧无需额外库，纯SQL实现，却让分析从描述性统计跃升至相对价值评估。教师看到PERCENT_RANK()和PARTITION BY，立刻明白学生掌握了窗口函数这一数据库高阶能力——这正是97分与90分的本质分水岭。

本文还有配套的精品资源，点击获取