Python版本化数据清洗合并与可视化分析实战指南

在处理长期累积、不断产生新版本的记录类数据时，最大的瓶颈往往不是数据量本身，而是文件格式、字段命名和版本号之间的混乱。不同批次的数据散落在多个 Excel 或 CSV 文件中，同一含义的列在不同文件里叫法完全不同，日期格式也五花八门，经常需要手动打开一个个文件去核对，效率非常低。本文以“雾山实录 29.7”这个版本数据为例，完整演示如何用 Python 对这类版本化记录数据做读取、清洗、合并、统计分析和可视化，并自动生成报告。无论你是刚接触 pandas 的数据分析新手，还是需要维护内部记录系统的后端开发，这套流程都可以直接借鉴。

1. 背景与核心概念

1.1 什么是实录类数据

“实录”类数据通常指的是按时间顺序持续产生、需要长期留存的业务记录，例如设备巡检记录、运维操作日志、实验观测数据、内容发布台账、现场施工记录等。这类数据有一个共同特点：会持续增量产生，并且经常以“版本”为单位进行归档。比如某个系统运行到一定阶段后，会导出一份“第 29 版完整记录”，随后因为数据修正，又在 29 版基础上产出 29.1、29.2、29.7 等修订版本。这里的 29 代表大的内容版本，7 代表该大版本下的第 7 次数据修订。

之所以需要版本化，是因为原始记录可能被修改、补充或删除，为了保留历史痕迹和审计追踪，我们不能直接覆盖旧数据，而是通过递增版本号来区分不同批次的数据状态。这样一旦后续统计口径变化，还能回到某个历史版本重新计算。对开发者和数据分析师来说，最头疼的不是单份文件，而是如何把多版本、多格式、多命名规则的数据统一处理成一份干净、标准、可复用的数据表。

1.2 Python 处理此类问题的优势

手动处理版本化数据通常分三步：打开 Excel、复制粘贴、用透视表做汇总。小数据量时还能应付，但一旦文件数量超过十个、行数超过几万行，手动方式就变得不可维护。Python 的优势在于：

• 可以批量读取目录下所有数据文件，不需要逐个打开。
• 可以通过字段别名映射，把不同命名统一成标准字段。
• 数据清洗步骤可脚本化、可重复执行，处理完 29.7 之后，29.8、30.0 来了还能继续复用。
• 统计和可视化一体化，结果能自动导出为报告。

本文采用的方案以 pandas 为核心，配合 glob 处理文件遍历，matplotlib 生成图表，最后通过字符串模板生成一份简单的 HTML 报告。整个流程不依赖重型框架，一台普通电脑就能运行，适合作为版本化数据处理的入门实战。

1.3 文章内容范围

本文将围绕如下内容展开：

• 如何设计实录类数据的字段结构。
• 如何划分原始数据目录、处理脚本目录和输出目录。
• 如何用 Python 批量读取、清洗、合并多个版本的数据文件。
• 如何做常用统计分析和可视化。
• 如何自动生成包含统计结果和图表的数据报告。
• 常见编码错误、日期解析错误等问题如何排查。
• 在真实项目中应该注意的备份、安全和工程化建议。

文章中的代码以示例项目“雾山实录 29.7”为背景，数据文件是演示用结构，读者完全可以替换成自己本地的真实数据。

2. 环境准备与版本说明

2.1 运行环境

本文示例代码基于 Python 3 编写，建议使用 Python 3.9 及以上版本。操作系统方面，Windows、Linux、macOS 都可以运行，但需要注意以下几点：

• Windows 系统下，CSV 文件如果由 Excel 导出，通常带有 BOM 头，读取时建议用utf-8-sig编码。
• macOS 系统自带 Python 版本可能较低，建议通过 Homebrew 或官方安装包安装新的 Python 3。
• Linux 服务器运行无界面环境时，matplotlib 生成图表需要指定非交互式后端，本文会给出相关配置。

版本需要根据你的项目实际情况调整，本文示例以常见环境为例，重点演示配置思路。如果你本机已经安装了 Anaconda，那么 pandas、matplotlib 基本已经内置，可以跳过依赖安装步骤。

2.2 第三方依赖

需要安装的第三方库包括：

• pandas：数据处理核心库，负责读取、清洗、聚合。
• matplotlib：用于生成统计图表。
• openpyxl：pandas 读写 Excel 文件时需要的底层引擎。

推荐使用 pip 安装，命令如下：

pip install pandas matplotlib openpyxl

如果你在安装过程中遇到权限问题，可以加--user参数，或者使用虚拟环境。虚拟环境是隔离项目依赖的推荐做法：

python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install pandas matplotlib openpyxl

2.3 项目目录结构

为了让处理流程清晰可维护，建议先建立如下项目目录结构：

fog_record_project/ ├── data/ │ ├── raw/ # 原始数据文件，保持只读 │ │ ├── fog_record_29.3.csv │ │ ├── fog_record_29.5.csv │ │ └── fog_record_29.7.csv │ └── processed/ # 清洗后的统一数据 ├── output/ │ ├── charts/ # 生成的图表 │ └── report/ # 生成的报告 ├── scripts/ │ ├── clean_data.py # 数据清洗脚本 │ ├── analyze_data.py # 统计分析脚本 │ └── generate_report.py # 报告生成脚本 └── main.py # 主入口脚本

原始数据放在data/raw目录下，处理脚本放在scripts目录下，输出结果统一进入output目录。这样做的好处是：原始数据永远是唯一样本，处理脚本可以反复运行而不用担心破坏源头数据。后面所有代码示例都会基于这个目录结构。

3. 数据结构设计与版本管理

3.1 数据字段设计

版本化实录数据的字段设计要兼顾“记录本身的属性”和“版本管理的属性”。一个比较通用的结构如下：

需要注意，record_id是整个数据处理的关键。如果不同版本文件中的同一条记录使用相同编号，那么合并后可以依据它去重，避免同一个记录被重复统计。version字段虽然放在表格里，但它描述的是“这条数据属于哪个版本文件”，不是业务记录本身的时间。

3.2 文件存储格式选择

实际项目中常见的格式有三种：CSV、Excel、JSON。三者的适用场景不同：

• CSV：结构简单，容易用 Git 做版本管理，适合机器处理和长期归档。
• Excel：适合业务人员手动查看和编辑，但文件大了以后打开缓慢，且不一定方便程序遍历。
• JSON：适合存储嵌套结构，但在表格化统计时不如 CSV 直观。

本文示例以 CSV 为主。如果你手头是 Excel 文件，只需要把读取函数从pd.read_csv换成pd.read_excel，处理思路不变。

3.3 版本号约定

版本号建议采用“主版本.修订版本”的格式，例如29.7。主版本代表一次较大的内容更新，修订版本代表小幅补充或修正。这样在文件名中可以直接看出数据的新旧关系。文件命名也推荐统一为fog_record_29.3.csv、fog_record_29.5.csv这种风格，方便用通配符批量匹配。

需要注意的是，版本号只是数据管理层面的标识，不能替代记录时间。数据分析时仍应以record_time作为时间维度，而不是用版本号排序代替时间排序。

4. 核心代码实现：数据读取与清洗

4.1 批量读取原始文件

一次性读取data/raw目录下的所有 CSV 文件，是处理版本化数据的第一步。使用glob.glob可以获取符合命名规则的文件列表，再用pd.read_csv逐个读取。这里有几个关键点：

• 读取时指定dtype=str，先把所有列当字符串读入，避免后面批量清洗时类型混乱。
• 指定encoding="utf-8-sig"，兼容 Excel 导出的带 BOM 的 CSV 文件。
• 每读取一个文件，就为当前数据增加一列source_file，这样能追踪每条数据来自哪个版本文件。

示例代码：

import glob import os import pandas as pd RAW_DIR = "./data/raw" PROCESSED_DIR = "./data/processed" os.makedirs(PROCESSED_DIR, exist_ok=True) file_paths = sorted(glob.glob(os.path.join(RAW_DIR, "fog_record_*.csv"))) print(f"找到 {len(file_paths)} 个数据文件") df_list = [] for file_path in file_paths: df = pd.read_csv(file_path, dtype=str, encoding="utf-8-sig") df["source_file"] = os.path.basename(file_path) df_list.append(df) print(f"已读取 {os.path.basename(file_path)}，行数 {len(df)}") raw_df = pd.concat(df_list, ignore_index=True) print(f"合并后总行数: {len(raw_df)}")

运行后，raw_df中包含了所有版本文件的数据，并且可以通过source_file字段知道每条记录来源于哪个文件。如果某个文件的列名与其他文件不一致，pd.concat默认按列名对齐，缺失的列会变成NaN，这也为我们下一步字段统一留下了线索。

4.2 统一字段命名

实际文件里，字段命名往往不统一。例如“记录编号”可能在第一版文件中叫record_id，在后来的文件中叫编号，甚至有的叫id。为了处理统一，我们需要建立一份字段别名映射表，把不同的原始列名映射到标准字段名。

字段别名映射的思路是：遍历当前 DataFrame 的列名，如果它在某个标准字段的别名列表里，就把这一列重命名为标准字段名。示例实现如下：

field_alias = { "record_id": ["record_id", "id", "记录编号", "编号"], "record_time": ["record_time", "time", "记录时间", "时间"], "location": ["location", "place", "地点", "位置"], "category": ["category", "type", "类别", "分类"], "content": ["content", "内容", "描述"], "owner": ["owner", "负责人", "录入人"], "status": ["status", "状态"], "version": ["version", "版本", "版本号"], } def normalize_columns(df): rename_map = {} for col in df.columns: col_str = str(col).strip() for standard_name, aliases in field_alias.items(): if col_str in aliases: rename_map[col] = standard_name break return df.rename(columns=rename_map) raw_df = normalize_columns(raw_df) print("统一后的字段:", raw_df.columns.tolist())

重命名后，我们只需要保留对分析有意义的字段，其余列可以丢弃。这样后续代码就不需要再关心原始文件列名怎么变化了。

4.3 日期和数值类型转换

历史数据文件中最容易出问题的就是日期格式。有的文件是2024-01-01 08:30:00，有的是2024/01/01，还有的是2024.1.1。直接用pd.to_datetime解析时，多格式混在一起经常导致部分数据解析失败。建议先把日期列统一为字符串并去除空格，再使用pd.to_datetime(..., errors="coerce")做宽松解析。解析失败的值会变成NaT，便于后续检查。

if "record_time" in raw_df.columns: raw_df["record_time"] = raw_df["record_time"].astype(str).str.strip() raw_df["record_time"] = pd.to_datetime(raw_df["record_time"], errors="coerce") invalid_time_count = raw_df["record_time"].isna().sum() print(f"日期解析失败的行数: {invalid_time_count}")

对于需要参与统计的数值字段，例如数量、金额、时长，建议用pd.to_numeric转换，出错时置为NaN：

if "record_count" in raw_df.columns: raw_df["record_count"] = pd.to_numeric(raw_df["record_count"], errors="coerce")

4.4 去重与缺失值处理

合并后的数据可能包含完全重复的行，也可能出现核心字段缺失的情况。处理策略如下：

• 以record_id作为主键去重，保留每个记录的最新或第一条记录。出于演示目的，可以保留最后一条，因为后期版本通常比早期版本更准确。
• 对于record_time缺失的数据，如果无法通过其他字段推断，建议删除；对于content缺失的数据，可以填充为“无内容”或保留为空字符串。
• 去重和缺失值处理没有绝对标准，需要结合业务含义判断。在实际项目中，如果涉及记录删除，必须先备份原数据。

示例代码：

if "record_id" in raw_df.columns: clean_df = raw_df.drop_duplicates(subset=["record_id"], keep="last").copy() else: clean_df = raw_df.drop_duplicates().copy() clean_df = clean_df.dropna(subset=["record_time"]) clean_df = clean_df.fillna("") print(f"去重并清理缺失值后总行数: {len(clean_df)}")

4.5 保存清洗结果

清洗后的数据需要保存到data/processed目录，方便后续统计分析和报告生成使用。保存为 CSV 时，推荐使用utf-8-sig编码，确保用 Excel 打开时中文不会乱码。

output_path = os.path.join(PROCESSED_DIR, "fog_record_29.7_clean.csv") clean_df.to_csv(output_path, index=False, encoding="utf-8-sig") print(f"清洗结果已保存: {output_path}")

到这里，数据清洗的闭环就完成了。后续所有分析和可视化，都可以直接读取这份统一后的干净数据，而不用再关心原始文件的各种格式问题。

5. 统计分析功能

数据清洗完成后，接下来进入统计分析环节。统计分析的目的是回答三类常见问题：

• 整体状态分布是什么样？
• 记录类型和地点分布有什么特征？
• 每天或每月的记录数量变化趋势如何？

5.1 状态分布统计

状态统计通常用value_counts实现。比如我们想知道“已完成、处理中、待处理”各有多少条记录，可以这样写：

clean_df = pd.read_csv("./data/processed/fog_record_29.7_clean.csv", dtype=str, encoding="utf-8-sig") if "status" in clean_df.columns: status_stats = clean_df["status"].value_counts().reset_index() status_stats.columns = ["status", "count"] print(status_stats)

value_counts返回的结果是 Series，reset_index可以把它转换成包含两列的标准表格：一列是状态名，一列是记录数量。如果某个状态的值在原始数据中写法不一致，例如既有“已完成”又有“完成”，建议在清洗阶段先做归一化，统一替换为同一个标准词。

5.2 类别与地点分布统计

类别和地点属于分类变量，分析方法类似。可以统计不同类别下的记录数量，也可以做交叉分析，看某个地点的记录状态分布。交叉表pd.crosstab很适合这种需求。

if "category" in clean_df.columns and "status" in clean_df.columns: cross_stats = pd.crosstab(clean_df["category"], clean_df["status"]) print(cross_stats)

交叉表的行是类别，列是状态，单元格内是对应的记录数。通过这张表，我们能快速看出哪种类别的问题最多、哪种类别已经完成得差不多。

5.3 时间趋势统计

要分析记录数量随时间的变化，需要先把record_time转成时间类型，再按天、周或月进行聚合。resample是 pandas 中强大的时间聚合方法。例如按天统计：

clean_df["record_time"] = pd.to_datetime(clean_df["record_time"], errors="coerce") daily_stats = clean_df.set_index("record_time").resample("D").size().reset_index(name="count") print(daily_stats.head())

如果要按月份统计，只需要把resample("D")改为resample("M")。需要注意，resample("M")得到的日期默认是每个月最后一天，后续画图时如果不希望出现这种偏移，可以改用resample("MS")表示每月第一天。聚合结果可以直接传给绘图函数，生成趋势线图。

6. 可视化与自动化报告生成

6.1 matplotlib 中文显示配置

matplotlib 默认字体对中文支持并不友好，图表上很容易出现方块乱码。不同操作系统需要设置的字体不同，推荐按系统情况配置：

import matplotlib.pyplot as plt plt.rcParams["font.sans-serif"] = ["SimHei", "Microsoft YaHei", "PingFang SC", "WenQuanYi Zen Hei"] plt.rcParams["axes.unicode_minus"] = False

如果图表仍然显示方块，说明当前系统没有列表中对应的中文字体。这时可以安装字体，或者在系统字体列表中选用一个已有的中文字体名称。在 Linux 服务器无图形环境下，还需要设置 matplotlib 的后端：

import matplotlib matplotlib.use("Agg")

6.2 生成核心图表

以状态分布柱状图为例，完整代码如下：

import matplotlib.pyplot as plt status_stats = clean_df["status"].value_counts().reset_index() status_stats.columns = ["status", "count"] plt.figure(figsize=(8, 5)) plt.bar(status_stats["status"], status_stats["count"], color="#4C72B0") plt.title("不同状态下记录数量分布") plt.xlabel("状态") plt.ylabel("记录数量") for i, v in enumerate(status_stats["count"]): plt.text(i, v + 20, str(v), ha="center") plt.tight_layout() chart_path = "./output/charts/status_distribution.png" plt.savefig(chart_path, dpi=150) plt.close() print(f"图表已保存: {chart_path}")

时间趋势折线图同样简单，绘制前先把日期列设置为索引：

daily_stats = clean_df.set_index("record_time").resample("D").size().reset_index(name="count") plt.figure(figsize=(10, 5)) plt.plot(daily_stats["record_time"], daily_stats["count"], marker="o", linewidth=1, markersize=3) plt.title("每日记录数量趋势") plt.xlabel("日期") plt.ylabel("记录数量") plt.xticks(rotation=45) plt.tight_layout() chart_path = "./output/charts/daily_trend.png" plt.savefig(chart_path, dpi=150) plt.close()

保存图片时用plt.close()关闭画布很重要，否则循环生成多张图表时内存会持续累积。

6.3 自动生成 HTML 报告

自动报告的核心思路是：把统计表格转成 HTML 表格，把图表路径嵌入到 HTML 的<img>标签中，最后输出一个.html文件。由于数据中可能包含用户填写的内容，直接用 f-string 拼接时要注意对文本内容做 HTML 转义，避免特殊字符破坏页面结构或产生注入风险。

import html import os def dataframe_to_html_table(df, max_rows=20): rows_html = "" for _, row in df.head(max_rows).iterrows(): row_html = "<tr>" for cell in row: safe_cell = html.escape(str(cell)) row_html += f"<td>{safe_cell}</td>" row_html += "</tr>" rows_html += row_html headers_html = "" for col in df.columns: headers_html += f"<th>{html.escape(str(col))}</th>" return f"<table border='1' cellpadding='6' cellspacing='0'><tr>{headers_html}</tr>{rows_html}</table>" report_html = f""" <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>雾山实录 29.7 数据报告</title> </head> <body> <h1>雾山实录 29.7 数据报告</h1> <h2>1. 状态分布</h2> {dataframe_to_html_table(status_stats)} <h2>2. 类别与状态交叉统计</h2> {dataframe_to_html_table(cross_stats)} <h2>3. 每日记录数量趋势</h2> <img src="../charts/daily_trend.png" alt="daily trend" width="800"> <h2>4. 状态分布图</h2> <img src="../charts/status_distribution.png" alt="status distribution" width="800"> </body> </html> """ os.makedirs("./output/report", exist_ok=True) with open("./output/report/fog_record_29.7_report.html", "w", encoding="utf-8") as f: f.write(report_html) print("报告已生成: ./output/report/fog_record_29.7_report.html")

生成后用浏览器打开 HTML 文件，就能直接查看统计表格和图表。这样每次处理完新版本数据，只需要重新运行脚本，就能得到一份最新的 HTML 报告，便于分享和归档。

7. 运行与验证

7.1 统一入口脚本

为了方便执行，可以把清洗、分析和报告生成整合到一个主脚本main.py中。这里推荐引入一个简单的logging模块，记录处理过程中的关键信息，而不是全部使用print。日志有助于在脚本出错时定位问题。

import logging import os logging.basicConfig( level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s", handlers=[ logging.StreamHandler(), logging.FileHandler("./output/process.log", encoding="utf-8"), ], ) def main(): os.makedirs("./output", exist_ok=True) logging.info("开始数据清洗...") # 这里可以调用清洗函数 # clean_data.run() logging.info("清洗完成，开始统计分析...") # analyze_data.run() logging.info("统计完成，开始生成报告...") # generate_report.run() logging.info("全部处理完成") if __name__ == "__main__": main()

日志同时输出到控制台和process.log文件，可以在处理完成后查看数据处理全过程。

7.2 运行命令与预期结果

在项目根目录执行以下命令：

python main.py

如果分步执行，也可以按顺序运行：

python scripts/clean_data.py python scripts/analyze_data.py python scripts/generate_report.py

运行后，data/processed目录下会生成清洗后的统一 CSV 文件，output/charts目录下会有两张图，output/report目录下会有 HTML 报告。控制台中日志输出类似：

2024-06-21 10:00:12,123 - INFO - 找到 3 个数据文件 2024-06-21 10:00:12,456 - INFO - 已读取 fog_record_29.3.csv，行数 820 2024-06-21 10:00:12,789 - INFO - 已读取 fog_record_29.5.csv，行数 931 2024-06-21 10:00:13,012 - INFO - 已读取 fog_record_29.7.csv，行数 1105 2024-06-21 10:00:13,234 - INFO - 合并后总行数: 2856 2024-06-21 10:00:13,567 - INFO - 去重并清理缺失值后总行数: 2619 2024-06-21 10:00:14,001 - INFO - 报告已生成: ./output/report/fog_record_29.7_report.html

这里的数字只是演示数据，实际行数取决于你本地的原始文件。如果有一天运行结果中的行数明显异常，比如清洗后比原始数据还多，就要重点检查去重主键是否真的唯一，或者是否出现了拼接重复。

7.3 结果验证方式

数据清洗和统计分析后，建议做三层验证：

• 行数验证：清洗后行数应当小于或等于合并后总行数。
• 字段验证：检查标准字段是否存在，类型是否已转换。
• 抽样验证：随机抽取几行，与原文件人工对照，确认内容没有被错误改写。

sample = clean_df.sample(5, random_state=42) print(sample)

随机抽样加上固定随机种子，可以保证每次抽查的样本一致，便于问题复现。

8. 常见问题与排查思路

8.1 常见问题对照表

实际运行中，最容易出问题的环节是文件读取、编码、日期解析和图表中文显示。下面整理了一份高频问题对照表：

8.2 编码问题排查

编码问题是最常见的坑。推荐在读取文件之前先用chardet或codecs检测文件编码，但更稳妥的做法是：所有 CSV 文件统一用 UTF-8 保存，导出时使用utf-8-sig。如果你发现某个文件读取后中文字符变成了乱码，先不要急着改代码，用记事本或 VS Code 打开文件，查看右下角编码类型，再决定读取参数。

8.3 日期格式问题排查

日期解析失败会影响后续所有时间趋势分析。排查时不要只看isna()的数量，建议把解析失败的样本打印出来，直观判断格式：

mask = clean_df["record_time"].isna() invalid_samples = clean_df.loc[mask, ["record_id", "record_time"]].head(20) print(invalid_samples)

如果失败行很多，通常是某些行里包含“暂无”“待补”这类非日期文本。这时需要在清洗之前，先把这些异常值替换或过滤掉。

9. 最佳实践与工程建议

9.1 原始数据只读原则

处理脚本永远不要直接修改data/raw下的原始文件。所有清洗结果应写入data/processed，输出报告进入output。这样做一方面保留了审计追溯能力，另一方面也让脚本具备可重复执行性：即使处理逻辑写错了，原始数据还在，可以随时重新计算。涉及数据删除、覆盖或回写数据库时，一定要先备份，并在生产环境操作前获得授权。

9.2 脚本幂等设计

所谓幂等，就是同一份脚本无论执行多少次，最终结果都一样。实现幂等最简单的办法是：每次运行前先删除旧的输出文件，或者把输出文件命名为带时间戳的形式。例如：

import time timestamp = time.strftime("%Y%m%d_%H%M%S") output_path = f"./data/processed/clean_{timestamp}.csv"

但要注意，如果下游依赖固定的报告路径，那么文件名带时间戳可能增加使用成本。更常见的方式是固定输出路径，每次运行前清空该文件或覆盖写入。

9.3 日志记录

数据处理不能只靠print。在生产环境中，建议使用 Python 内置的logging模块记录以下信息：

• 脚本开始和结束时间。
• 读取到多少个文件。
• 每个文件的原始行数和列名。
• 清洗后保留行数、删除行数和原因。
• 报告输出路径。

有了日志，后续排查“为什么这次数据量和上次不同”会轻松很多。

9.4 敏感数据脱敏

实录类数据往往包含人员姓名、联系方式、地址等敏感信息。在处理流程中，建议遵循最小授权原则，非必要字段在清洗后直接删除，无法删除的敏感字段做脱敏处理，例如姓名只保留姓、手机号隐藏中间四位。脱敏逻辑应该在清洗脚本中显式完成，并在报告中体现。

9.5 大数据量扩展方向

如果未来数据量增大到 CSV 文件打开吃力，或者分析维度越来越多，可以考虑：

• 将数据导入 SQLite、MySQL 或 PostgreSQL，用 SQL 做聚合统计。
• 使用 Parquet 格式存储中间结果，压缩率高且读取速度快。
• 使用 Airflow 或系统定时任务，每日自动执行数据清洗报告流程。
• 如果需要 Web 展示，可以用 Flask 或 Django 加载处理后的数据，生成在线图表页面。

不过这些都属于后续扩展。现阶段用 pandas 打通清洗、统计、可视化、报告这条链路，已经能覆盖大多数中小规模记录数据的处理需求。

10. 总结与学习路线

本文围绕“雾山实录 29.7”这个版本化数据场景，完整演示了一套数据处理闭环：批量读取多个版本文件、统一字段命名、清洗类型与缺失值、去重合并、统计分析、图表可视化，最后自动生成 HTML 报告。整套流程的核心价值在于可复用，29.7 处理完之后，再来 29.8、30.0，只需要把新文件放入data/raw目录，重新运行脚本即可。

接下来可以继续学习的方向包括：

• pandas 更深入的聚合操作，例如groupby、pivot_table、窗口函数。
• 用 SQL 完成同样的统计需求，理解两种方式的差异。
• 用 Flask 或 Streamlit 把数据处理结果做成 Web 可视化页面。
• 学习版本管理工具 Git，把数据处理脚本和结果自动化纳入版本控制。

实际项目中优先关注数据安全和备份问题。可以先从一小批真实数据入手，跑通清洗流程，再逐步扩展到全量数据和定时自动化。如果能把这个流程跑通，以后面对各种版本化的记录数据，你就不会再把时间浪费在手动复制粘贴上了。