3天搞懂中国农村统计年鉴数据爬取完整示例

看了一堆教程还是不会写项目？别慌，这行老手告诉你，缺的不是理论，是一个能跑通、能改、能用的完整示例。今天咱们不聊虚的，直接上手处理《中国农村统计年鉴》里的真实数据。很多劳务班组负责人，手里攥着全国各省的用工、收入、土地流转数据，想做个移动端看板给老板看，或者给工人算算跨地区务工的性价比，结果卡在数据提取和清洗上。

《中国农村统计年鉴》是国家统计局每年发布的权威数据汇编，涵盖全国各省、自治区、直辖市的农业经济、农村社会、农民生活等海量指标。对于做劳务管理、跨区域用工分析的团队来说，这简直是金矿。但数据格式杂、表头多、年份跨度大，手动复制粘贴？做梦。

这篇文章，我会带你从0到1，用Python写一个可运行的爬虫+清洗脚本，专门针对《中国农村统计年鉴》的HTML表格结构。代码全部开源，逻辑清晰，注释详细，你改改参数就能跑。我们聚焦三个高频痛点：跨省转介办理差异的数据对比、考试科目与题型（这里指数据字段的枚举值校验，比如“学历”、“工种”的标准化）、电子证书查询与下载（这里指数据导出为Excel/CSV的自动化流程）。

环境准备：别在第一步就翻车

很多人第一步就错了。用错了库，或者版本冲突，跑起来一堆报错。听我的，按这个清单来，稳。

核心依赖库：

requests：发送HTTP请求，获取年鉴HTML页面。
BeautifulSoup4：解析HTML，提取表格数据。这是最稳的解析器。
pandas：数据处理神器。提取表格后，直接转DataFrame，清洗、分析、导出一条龙。
openpyxl：pandas导出Excel需要它。

安装命令（终端执行）：

pip install requests beautifulsoup4 pandas openpyxl

为什么不用Selenium？

有些教程让你用Selenium模拟浏览器。对于《中国农村统计年鉴》这种静态HTML表格，Selenium是杀鸡用牛刀，而且容易因为浏览器环境不同而失败。requests + BeautifulSoup 轻量、快速、稳定。除非页面是动态JS渲染的，否则别碰Selenium。

目录结构建议：

yearbook_crawler/
├── main.py          # 主脚本
├── utils.py         # 工具函数（如重试、日志）
├── output/          # 存放清洗后的数据
└── logs/            # 存放运行日志

核心语法：解析表格的三把钥匙

《中国农村统计年鉴》的网页结构相对规范，但细节坑多。核心就三步：定位表格、提取表头、提取数据行。

1. 定位表格

年鉴页面通常有多个表格。你需要通过class或id定位目标表格。比如，某省农民收入数据可能在<table class="stat-table">里。

from bs4 import BeautifulSoup
import requestsurl = "https://www.stats.gov.cn/sj/ndsj/2023/indexch.htm"  # 示例URL，实际需替换为具体年份页面
response = requests.get(url, timeout=10)
soup = BeautifulSoup(response.text, 'html.parser')# 假设目标表格的class是 'stat-table'
tables = soup.find_all('table', class_='stat-table')
if not tables:print("未找到目标表格，请检查class属性")exit()target_table = tables[0]  # 取第一个匹配表格

2. 提取表头

表头通常在<thead>或第一行<tr>中。注意，有些表格的表头是合并单元格（colspan/rowspan），需要特殊处理。

# 提取表头
header_rows = target_table.find('thead').find_all('tr')
headers = []
for tr in header_rows:ths = tr.find_all(['th', 'td'])row_headers = [th.get_text(strip=True) for th in ths]headers.append(row_headers)# 简化：如果只有一行表头
if len(headers) == 1:final_headers = headers[0]
else:# 多行表头需要合并，这里简单处理为下划线连接final_headers = ['_'.join(filter(None, col)) for col in zip(*headers)]

3. 提取数据行

数据在<tbody>中。注意空值、换行符、全角字符。

data_rows = []
tbody = target_table.find('tbody')
for tr in tbody.find_all('tr'):tds = tr.find_all('td')row_data = [td.get_text(strip=True) for td in tds]# 过滤空行if any(row_data):data_rows.append(row_data)# 转为DataFrame
import pandas as pd
df = pd.DataFrame(data_rows, columns=final_headers)
print(df.head())

关键细节： strip=True 很重要，能去掉空格和换行。年鉴数据里常有“--”表示缺失，后续清洗要处理。

完整代码示例：跑通一个省份数据

下面是一个完整示例，以2023年某省农民人均可支配收入数据为例。代码包含重试机制、异常处理、数据清洗和导出。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import logging# 配置日志
logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s - %(message)s',handlers=[logging.FileHandler("logs/crawler.log", encoding="utf-8"),logging.StreamHandler()]
)def fetch_page(url, retries=3):"""带重试的页面获取"""for i in range(retries):try:headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}response = requests.get(url, headers=headers, timeout=10)if response.status_code == 200:logging.info(f"成功获取: {url}")return response.textelse:logging.warning(f"状态码异常: {response.status_code}, 重试 {i+1}/{retries}")except Exception as e:logging.error(f"请求失败: {e}, 重试 {i+1}/{retries}")time.sleep(2)  # 避免请求过快return Nonedef parse_yearbook_table(html, table_class='stat-table'):"""解析年鉴表格"""soup = BeautifulSoup(html, 'html.parser')table = soup.find('table', class_=table_class)if not table:logging.error(f"未找到class为'{table_class}'的表格")return None# 提取表头thead = table.find('thead')if not thead:logging.warning("未找到thead，尝试用第一行作为表头")first_tr = table.find('tr')headers = [th.get_text(strip=True) for th in first_tr.find_all(['th', 'td'])]tbody = table.find_all('tr')[1:]else:header_rows = thead.find_all('tr')headers = []for tr in header_rows:ths = tr.find_all(['th', 'td'])headers.append([th.get_text(strip=True) for th in ths])# 合并多行表头if len(headers) == 1:final_headers = headers[0]else:final_headers = ['_'.join(filter(None, col)) for col in zip(*headers)]tbody = table.find('tbody')if not tbody:tbody = table.find_all('tr')[len(headers):]else:tbody = tbody.find_all('tr')# 提取数据data = []for tr in tbody:tds = tr.find_all('td')row = [td.get_text(strip=True) for td in tds]if len(row) == len(final_headers) and any(row):data.append(row)if not data:logging.error("未提取到数据行")return Nonedf = pd.DataFrame(data, columns=final_headers)return dfdef clean_data(df):"""数据清洗"""# 替换缺失值df.replace('--', None, inplace=True)# 删除全空行df.dropna(how='all', inplace=True)# 处理数字列：去掉逗号、空格for col in df.columns:if df[col].dtype == 'object':df[col] = df[col].str.replace(',', '', regex=False)df[col] = pd.to_numeric(df[col], errors='coerce')return dfdef main():# 示例：2023年某省农民收入数据页面url = "https://www.stats.gov.cn/sj/ndsj/2023/html/C08-01ch.htm"  # 请替换为实际URLhtml = fetch_page(url)if not html:logging.error("页面获取失败，退出")returndf = parse_yearbook_table(html, table_class='stat-table')if df is None:logging.error("表格解析失败，退出")returndf = clean_data(df)logging.info(f"成功提取 {len(df)} 行数据")# 导出Exceloutput_path = "output/farmer_income_2023.xlsx"df.to_excel(output_path, index=False, engine='openpyxl')logging.info(f"数据已导出: {output_path}")if __name__ == '__main__':main()

代码亮点：

重试机制：网络不稳定时自动重试，避免单次失败。
日志记录：每一步操作都有日志，出问题好排查。
表头兼容：自动处理单行/多行表头。
数据清洗：自动转换数字类型，处理缺失值。

常见报错：这些坑我替你踩过了

1. AttributeError: 'NoneType' object has no attribute 'find_all'

原因：soup.find('table', class_=...) 返回None，说明没找到表格。
解决：检查class属性是否正确。用浏览器F12，查看表格的真实class。年鉴页面可能用id而非class。

2. ValueError: Length of values does not match length of index

原因：某行数据的列数与表头不一致。可能是合并单元格导致td数量少。
解决：在parse_yearbook_table中，增加列数校验。如果len(row) != len(final_headers)，记录警告并跳过该行，或尝试填充None。

3. Excel 文件被占用

原因：导出Excel时，文件在Excel中打开。
解决：确保导出前关闭Excel文件，或在代码中加os.remove删除旧文件（谨慎使用）。

4. 数据中出现全角数字１２３

原因：年鉴HTML中可能混用全角/半角字符。
解决：在clean_data中增加全角转半角处理：

def full_to_half(s):"""全角转半角"""r = []for ch in s:code = ord(ch)if code == 0x3000:code = 0x20elif 0xFF01 <= code <= 0xFF5E:code -= 0xFEE0r.append(chr(code))return ''.join(r)

在clean_data中对字符串列应用此函数。