Python招聘数据爬虫到可视化全流程实战解析

简介：基于Python实现的北京市大数据岗位招聘数据分析与可视化项目，面向计算机、通信、人工智能、自动化等专业学生及数据分析从业者，既可作为毕业设计与期末大作业的完整参考，也适合Python初学者借助真实场景掌握爬虫、数据处理和可视化展示的全流程。项目从北京市招聘网站数据抓取起步，依次完成数据清洗、字段整理、存储与统计分析，最终通过可视化页面呈现岗位分布与薪资趋势，代码经调试可运行，答辩评审达98分，完成度较高。资源以ZIP压缩包发布，共110个文件、6.64MB，核心包含4个Python脚本、CSV/XLS/DB数据文件，以及基于Bootstrap等前端样式库构建的HTML/CSS/JS可视化页面，并配套地图、图片、字体等静态资源，方便本地还原项目效果。目前已有88人浏览学习。通过该项目，可以理解招聘数据的采集口径、分析思路和可视化表达方法，获得从数据抓取到图表展示的完整项目经验，对提升实际数据处理与解读能力很有帮助。

1. 一份打通爬虫到可视化的完整资源：先搞清楚它能解决什么

这份基于Python的毕业设计级资源，把招聘数据从抓取到展示串成了一条完整链路：爬虫采集北京市大数据岗位的招聘信息，清洗脚本把薪资、学历、经验这些杂乱字段压成结构化表格，分析脚本抽出岗位分布、薪资区间和技能要求，最后由Web页面把结果渲染成可交互图表。核心价值在于给了一个现成的全流程参照系，不用再东拼西凑找爬虫教案和数据可视化教程。适合正在准备课程大作业、期末大作业或者毕设开题的学生，也适合想快速搭一套数据Demo的从业者。资源本身来自一份实际跑通答辩的毕设项目，评审分达到98分，代码整体不复杂，但每一步都值得逐行读一遍。

2. 招聘数据爬虫：请求策略、字段抽取与落地去重

2.1 为什么先自建爬虫，而不是直接下载现成数据集

乍一看，网上有不少整理好的招聘数据包，直接拿来分析好像更省事。但真到交作业或答辩时，会碰到几个现实问题。第一是数据时效性，网上现成的数据大多是几个月甚至更早抓的，岗位名称和薪资水平跟当前市场对不上；第二是字段不可控，别人清洗过的数据往往缺了原始薪资文本或职位描述，后面想分析“哪些公司给得起高薪”这类问题就无从下手；第三是展示环节会被追问数据来源，与其到时候支支吾吾，不如自己把爬虫代码摆出来，讲清楚采集口径。

我一般建议保留自建爬虫这条路，哪怕只抓几百条数据，只要目标明确，完整度和说服力都远胜于一份来路不明的csv。毕业设计或课程设计评审时，数据获取能力本身就是评分点之一。把抓取逻辑理清楚，后面所有分析都有出处可查，答辩被问“数据怎么来的”也能讲出细节。

2.2 请求构造与请求头伪装

招聘网站的页面结构不算复杂，但请求侧有几个老问题：不带User-Agent容易被服务器拒绝；请求频率太高会触发风控；页面编码识别错会导致中文乱码。常见做法是准备一组UA池，每次请求随机取一个，再在两次请求之间加随机延时，把采集频率降到接近人工浏览的节奏。

import requests import time import random UA_POOL = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36", ] def fetch_page(url, retry=3): # 每次请求随机换一个 UA，避免同一指纹连续出现 headers = { "User-Agent": random.choice(UA_POOL), "Referer": url.rsplit("/", 1)[0] + "/", "Accept": "text/html, application/json" } for attempt in range(retry): try: resp = requests.get(url, headers=headers, timeout=10) if resp.status_code == 200: # 用 apparent_encoding 兜底页面的 charset 识别 resp.encoding = resp.apparent_encoding return resp.text except requests.RequestException as exc: print(f"第{attempt + 1}次请求失败: {exc}") time.sleep(random.uniform(2, 5)) return None

逻辑说明：random.choice每次从UA_POOL里随机选一个，避免用固定UA跑完整批；Referer用当前URL的目录部分回填，模拟从列表页跳进详情页的正常路径；retry配合sleep做三次重试，间隔在2到5秒之间随机浮动。真正跑大批量时，建议把sleep下限提到3秒以上，虽然慢一点，但换来更低的封禁概率。

参数的调法看目标站点压力：数据量小、抓取频率低，UA池两三个就够；数据量大，则要扩充到十来个，并额外加Accept-Language请求头。requests.get里的timeout要显式设置，默认值在连接阻塞时会一直挂住，全量抓取时遇到卡顿，整批任务都会卡死。

2.3 页面解析与字段抽取

页面解析我习惯用BeautifulSoup加lxml解析器，选择器写稳比写快更重要。岗位卡片的选择器要结合页面实际结构去调，只要卡片容器不变，内部字段用小范围选择器逐层取即可，避免写一条超长选择器串到底。

from bs4 import BeautifulSoup def parse_job_list(html): soup = BeautifulSoup(html, "lxml") items = [] # 每条岗位卡片定位到同一个容器，内部字段再逐层取 for card in soup.select("div.joblist-box__item"): title = card.select_one(".joblist-box__item-info a") salary = card.select_one(".salary") company = card.select_one(".company-name") area = card.select_one(".joblist-box__item-area") desc = card.select_one(".job-desc") if not all([title, salary, company, area]): # 四个核心字段缺一不可，缺了就跳过这条 continue items.append({ "job_id": card.get("data-id", ""), "job_name": title.get_text(strip=True), "salary": salary.get_text(strip=True), "company": company.get_text(strip=True), "area": area.get_text(strip=True), "description": desc.get_text(strip=True) if desc else "", "fetch_time": time.strftime("%Y-%m-%d %H:%M:%S") }) return items

逻辑说明：job_id优先从卡片容器的data-id属性取，这是后面去重的关键键；取不到时退而求其次，用“岗位名+公司+区域”拼一个复合键。description字段在有些页面可能不存在，所以单独做了空值兜底。字段清单如下：

字段设计上故意保留原始salary字符串，不在爬虫阶段做数值化，把解析工作留给清洗环节，避免爬虫脚本越写越臃肿。

2.4 数据落地与按岗位去重

抓取结果先合并成一个DataFrame，再按job_id去重，最后写进csv。这里有个容易被忽略的细节：如果存成默认utf-8编码，Excel打开中文会乱码，写入统一用utf-8-sig。

import pandas as pd new_items = parse_job_list(html) df_new = pd.DataFrame(new_items) if df_new.empty: print("本次没有抓到新数据") else: # ignore_index 让两次数据的行号连续，方便后续批次统计 df_all = pd.concat([df_old, df_new], ignore_index=True) df_all = df_all.drop_duplicates(subset=["job_id"], keep="first") df_all.to_csv("jobs_raw.csv", index=False, encoding="utf-8-sig") print(f"累计 {len(df_all)} 条，本次新增 {len(df_new)} 条")

逻辑说明：df_old是上一次已落地的数据，pd.concat合并后统一去重，keep="first"保留先抓到的版本。打印累计与新增数量，便于在爬虫阶段就判断采集是否正常，比如连续几批都是0新增，说明页面结构变了或翻页逻辑卡住了。落地后的jobs_raw.csv就是清洗环节的输入，建议把每次抓取的行数记到日志里，防止中途被静默改写。

3. 数据处理与薪资归一化：把抓回来的字符串变成可分析的数值

3.1 统一字段格式与数据类型

爬虫落地的csv虽然能用，但字段名是英文、类型又乱，直接拿去统计容易出各种隐性问题。清洗第一步是重命名、删无用列、把时间字段解析成日期类型。薪资列保持字符串先不动，等下一步单独处理。

df = pd.read_csv("jobs_raw.csv", dtype={"job_id": str}) df = df.rename(columns={ "job_name": "岗位", "salary": "薪资文本", "company": "公司", "area": "区域", "description": "职位描述", "fetch_time": "抓取时间" }) # 抽取日期后，原始时间戳就没用了，直接删掉 df["抓取日期"] = pd.to_datetime(df["抓取时间"]).dt.date df = df.drop(columns=["抓取时间"])

逻辑说明：dtype参数把job_id强制指定为字符串，避免长ID被pandas当数字处理时出现科学计数法丢精度。pd.to_datetime再抽取日期，后续按天分组或画趋势图会直接用上。列名重命名成中文，是为了让项目中后段的可视化代码读起来更直观。

3.2 薪资字符串解析：从“15-25K·16薪”到“16500-27500元/月”

这是清洗环节最肉疼的一步。真实抓到的薪资文本花样很多，常见的有“15-25K·16薪”“8千-1.2万”“1.5-2万”“25-40K·15薪”。解析逻辑要先判断单位，再判断月薪倍数，最后统一折算成按月薪的元。

import re def parse_salary(text): # 先把千转成K，统一数字提取口径，避免中文数字混算 if not isinstance(text, str): return None, None text = text.replace("千", "K") nums = re.findall(r"\d+(?:\.\d+)?", text) if len(nums) < 2: return None, None low, high = float(nums[0]), float(nums[1]) if "K" in text.upper(): low, high = low * 1000, high * 1000 else: low, high = low * 10000, high * 10000 # 16薪表示一年发16个月，按全年收入均摊到月才是可比口径 m = re.search(r"(\d+)薪", text) if m: month = int(m.group(1)) low, high = low / 12 * month, high / 12 * month return int(low), int(high)

逻辑说明：先把“千”统一替换成“K”，这样数字提取不用区分中文数字单位；文本里同时出现“万”和“K”的概率很低，单位判断只看有没有K。16薪这类文本的含义是“月薪乘以16再除以12”折算成月度可比收入，注意这里换算的是全年收入均摊到月，而不是把月薪直接乘16。

解析完用apply生成两列：薪资下限、薪资上限，再求中位值放第三列，后面所有薪资统计直接用中位值，减少极端值干扰。

3.3 区域与经验字段的字典映射

招聘平台各区域写法不完全一致，同是海淀，有时写成“海淀区”，有时写成“北京-海淀”。统一做法是先建字典映射，再做一次包含匹配兜底。

AREA_MAP = { "北京-海淀": "海淀", "海淀区": "海淀", "北京-朝阳": "朝阳", "朝阳区": "朝阳", "北京-通州": "通州", "北京-昌平": "昌平", } def normalize_area(value): if not isinstance(value, str): return "未知" if value in AREA_MAP: return AREA_MAP[value] # 包含匹配兜底，防止个别写法没进字典 for district in ["东城", "西城", "丰台", "石景山", "大兴", "顺义", "房山"]: if district in value: return district return "其他"

逻辑说明：先走精确映射，再走包含匹配兜底，最后归入“其他”。这样清洗出来的区域值只有十几种，做柱状图和地图时不会因为同义写法被拆成两半。经验字段同理，把“3-5年”解析成最低年限，把“不限”标记为0，后续做交叉分析时直接用数值参与排序。

3.4 缺失值与异常值处理

清洗环节最怕的不是缺数据，而是脏数据。清完先扫一遍，看薪资解析失败的行、区域为“未知”的行、公司为空的行的占比。常见策略是：核心字段缺失直接丢弃；薪资解析失败且占比小于5%直接丢弃；区域缺失归为“其他”，不丢行。

before = len(df) df = df.dropna(subset=["职位描述", "公司"]) df = df[df["薪资下限"].notna()] # 清洗结果单独存一份，后面分析和展示都用这份 df.to_csv("jobs_clean.csv", index=False, encoding="utf-8-sig") print(f"清洗前 {before} 行，清洗后 {len(df)} 行，丢弃 {before - len(df)} 行")

逻辑说明：丢弃前先打印前后行数，这一步能帮你判断是不是解析逻辑本身有问题。如果一次丢了超过三成数据，优先检查薪资正则，而不是继续做分析。清洗结果另存成jobs_clean.csv，与原始jobs_raw.csv分开，保留原始数据做备份，后续如果分析口径要改，直接从原始文件重新清洗，不用重新爬。

4. 分析维度设计：岗位分布、薪资结构与技能词频怎么算出来

4.1 岗位数量与区域分布Top

分析阶段先问问题再写代码。第一个问题是“北京的这些大数据岗位集中在哪些区域”，直接对区域列做value_counts，取Top10画柱状图。顺序排出来以后，能明显看出哪些区是岗位供给主力。

top_area = df["区域"].value_counts().head(10) print(top_area.to_frame())

逻辑说明：value_counts默认按频数降序，head(10)截取前十个区域。这份数据里海淀、朝阳、昌平一般会排前面，因为互联网公司和科技园密集；如果结果里“其他”占比过高，说明区域映射环节还有漏网写法，回到3.3把AREA_MAP补全再重新清洗。

4.2 学历与经验交叉分析

招聘中“学历”和“经验”往往是一起提的，单独看某一个维度看不出门槛。用交叉表看不同学历要求对经验年限的约束，是答辩时能讲出深度的分析点。

cross = pd.crosstab(df["学历要求"], df["经验要求"], normalize="index") cross = cross.round(4) * 100 print(cross)

逻辑说明：normalize="index"让每行按行求和归一化成百分比，输出结果能看到“本科学历岗位里要求3到5年经验的比例是多少”。实际跑出来通常本科以下岗位占比少，硕士以上岗位对经验年限要求反而放宽，这类结论放进答辩PPT里比单张饼图有说服力。需要注意cross的列是“经验要求”文本，如果经验字段做了数值化，这里应换成“经验最低年限”再做分段统计。

4.3 薪资分位数与分组对比

薪资中位值可以看整体，但容易受个别高薪岗位影响。先看总体分位数，再按区域分组对比中位数，能回答“哪个区的大数据岗位整体给钱多”这个问题。

q = df["薪资中位"].quantile([0.25, 0.5, 0.75]) print(q) # 按区域求薪资中位数的中位数，排序看区域差距 grouped = df.groupby("区域")["薪资中位"].median().sort_values(ascending=False) print(grouped.head(8))

逻辑说明：quantile一次给出三个分位数，P50是中位数，P75减P25是四分位距，用来描述薪资分散程度。分组对比时按中位数降序排，排在前面的通常是一线互联网公司密度高的核心城区。这里有个细节：分位数计算前最好把异常高薪和异常低薪的岗位单独筛出来看一眼，比如月薪低于4000的岗位可能是实习岗或外包，要不要纳入分析口径，取决于你的结论方向。

4.4 技能关键词词频统计

分析技能要求需要把职位描述里出现的关键词挨个数一遍。先准备一份关键词表，再用str.contains逐词统计出现条数。这里的统计口径是“岗位数”而不是“出现次数”，一个岗位描述里出现三次Python也只计一次。

SKILLS = ["Python", "SQL", "Spark", "Hadoop", "Hive", "Flink", "机器学习", "数据挖掘", "ETL"] freq = {} for skill in SKILLS: # case=False 忽略大小写，na=False 让NaN描述按不命中处理 freq[skill] = df["职位描述"].str.contains(skill, case=False, na=False).sum() freq_df = pd.DataFrame(list(freq.items()), columns=["技能", "岗位数"]) freq_df = freq_df.sort_values("岗位数", ascending=False) print(freq_df)

逻辑说明：case=False让“python”和“Python”都命中，na=False把NaN描述按不命中处理，不报错。词频结果可以做词云，也可以做横向柱状图，展示哪些是北京大数据岗位的硬技能。如果要算“技能组合度”，还可以把两个关键词用正则同时匹配，比如r"Python.*?Spark"表示同一岗位描述里两词都出现，这类交叉统计比单看词频更能体现岗位画像。

5. 可视化展示与常见问题排查：图表怎么挂到页面上

5.1 图表选型：为什么用pyecharts而不是手写ECharts JSON

数据可视化这块用pyecharts生成图表配置，再由Flask渲染成页面。pyecharts的好处是图表配置全在Python侧，和数据分析代码无缝衔接，不用手动拼JavaScript初始化代码；坏处是它生成的HTML默认从CDN引echarts.min.js，在离线演示环境会白屏。所以项目里要提前把echarts.min.js下载到本地static目录，模板里改成本地引用。整体链路是：清洗脚本产出jobs_clean.csv，分析脚本跑出汇总结果，Flask启动时读取csv，按路由生成图表配置，前端Bootstrap模板负责排版。

5.2 Flask后端与图表数据接口

from flask import Flask, render_template from pyecharts import options as opts from pyecharts.charts import Bar, Pie import pandas as pd app = Flask(__name__) df = pd.read_csv("jobs_clean.csv") def make_bar(): # 区域分布Top10柱状图，数据直接来自清洗后的DataFrame data = df["区域"].value_counts().head(10) bar = ( Bar() .add_xaxis(data.index.tolist()) .add_yaxis("岗位数量", data.values.tolist()) .set_global_opts(title_opts=opts.TitleOpts(title="北京大数据岗位区域分布")) ) return bar @app.route("/") def index(): bar = make_bar() # dump_options_with_quotes 把图表配置序列化成JSON字符串传给模板 return render_template("index.html", bar_option=bar.dump_options_with_quotes())

逻辑说明：每个图表函数返回一个pyecharts对象，通过dump_options_with_quotes把图表配置序列化成JSON字符串，传给前端模板。数据都在后端统一处理，前端只负责渲染，答辩被问数据哪来的也能对着代码讲清楚。如果要在同一页面挂多张图，就多写几个make_xxx函数，分别dump成不同变量传进模板。

5.3 Bootstrap模板集成与静态资源

页面模板用到Bootstrap那套CSS，项目里常见的文件名包括bootstrap.min.css、icofont.min.css、animate.css、boxicons.min.css、aos.css，作用分别是栅格布局、图标、动画和滚动效果。模板挂图表的方式是在HTML里留一个div容器，再把后端传来的option塞给echarts初始化。

<div id="bar-chart" style="width: 100%; height: 420px;"></div> <script src="{{ url_for('static', filename='js/echarts.min.js') }}"></script> <script> var chart = echarts.init(document.getElementById('bar-chart')); chart.setOption({{ bar_option|safe }}); </script>

逻辑说明：url_for生成正确的静态资源路径，防止硬编码路径在路由嵌套时404。bar_option通过safe过滤器原样输出成JavaScript对象，如果不加safe，Jinja2默认会转义HTML字符，引号被替换图表就崩了。这里最容易踩的坑就是静态资源路径和过滤器漏写，下一节集中列几个高频问题。

5.4 排查记录：可视化上线前后的五处坑

坑一：页面空白，F12里echarts.min.js加载失败 现象：浏览器能打开页面，但图表区域一片空白，控制台报echarts.min.js 404。 原因：pyecharts默认引用CDN上的echarts.min.js，当前网络环境或评审现场网络受限，脚本加载不到。 解决：提前把echarts.min.js下载到static/js目录，模板里改成url_for本地引用，离线也能打开页面。

坑二：Excel打开csv中文乱码 现象：jobs_raw.csv用记事本打开正常，Excel打开全是乱码。 原因：pandas默认utf-8写入，Excel按GBK读取，编码对不上。 解决：所有to_csv加encoding="utf-8-sig"，BOM头会让Excel正确识别编码。

坑三：区域Top榜里出现“北京-海淀”和“海淀区”两行 现象：柱状图上同样的区域被拆成两根柱子，看起来像两个地方。 原因：清洗阶段区域映射没做完全，同义表述没合并。 解决：把3.3的AREA_MAP补全，重新清洗后对比行数，确认合并结果。

坑四：薪资解析把“8千-1.2万”解析成8000-12000万 现象：清洗后薪资上限比下限还大得离谱，排序错乱。 原因：单位判断逻辑里“万”和“千”混用，“千”替换成K后没统一再看单位。 解决：先replace("千","K")，再统一按K乘1000，无K按万乘10000，保证两个数字用同一单位。

坑五：Flask启动后静态css 404 现象：页面能打开但没有样式，控制台里bootstrap.min.css报404。 原因：模板里写死了/css/bootstrap.min.css这种相对路径，没有走url_for。 解决：全部替换成url_for('static', filename='css/bootstrap.min.css')，重启服务并强制刷新浏览器缓存。

这五条是我觉得跑通可视化环节最常遇到的，每一条单独修都很快，但攒在一起能让你排查两小时。项目资源里前端模板和静态文件已经是现成的，你更多要做的是把路径和编码调对。

6. 自测与扩展：从能跑通到能交作业的收尾习惯

6.1 数据一致性校验

跑完整套流程后，先用一次日志对比确认三个数字对得上：爬虫落地行数、清洗后行数、页面图表里出现的数据条数。这关系到答辩时被问到“这个图为什么只有十根柱子”能不能答上来。把统计逻辑写进一个run_check脚本，打印三行输出，数字对不上就回对应环节查。最常见的错误是清洗环节悄悄丢掉大量行，但人只看到最终图表，没发现数据量已经不对了。

6.2 断点续爬与重复数据兜底

当抓取量目标较大时，爬虫经常因为网络波动中断。加一个已抓取集合，启动时读csv里的job_id，新抓到的数据先比对再入库，避免重复请求已经抓过的页面。这个set占内存很小，几千条数据完全撑得住。

seen = set(df_all["job_id"].astype(str)) if url_job_id not in seen: # 新ID才发起详情页请求，已抓过的直接跳过 fetch_detail(url)

逻辑说明：这一步对跑批价值很大，二次启动不用从第一页重新来，省下的时间足够调试其他环节。配合重试机制，网络抖动中断后重跑脚本，剩下的任务会自动续上。

6.3 扩展：把静态图表升级成筛选页面

如果想让项目多一个亮点，可以在Flask路由里加一个area参数，前端下拉选区域后重新请求渲染。比纯静态页面多一层交互，但代码量只增加十几行，答辩时能多讲一个“交互查询”的卖点。我从那以后每次交付这类全流程项目，都强制自己走一遍数据量校验和静态资源本地化，少熬夜改配置，希望这份项目能帮你也一次跑通。

本文还有配套的精品资源，点击获取