系列：《从小白到 AI 大模型开发工程师的进阶之路》 技术点：AI-0236 合并与连接 主人公：小蓝伞 前置：AI-0233 Pandas Series 与 DataFrame 本期产出：独立实验脚本、原始输出、失败样本和验收清单
小蓝伞在“合并与连接”的教学实验中遇到一个容易被结果掩盖的问题：小蓝伞把两个各三行的表按id连接，id一两边都出现两次，产生四条组合，再加一条未匹配，结果成为五行。 同一连接键左右各有多条记录时，会产生组合行。连接前定义关系基数，连接时用validate校验，连接后检查行数与未匹配；去重不能替代业务决策。
一、小蓝伞遇到的问题
同名id只是候选连接字段。要确定它代表用户、订单还是事件，以及在哪张表唯一。同一用户多笔订单可以是一对多，同一订单重复采集却可能是数据错误。接口应写清实体单位，否则看似合法连接会改变报表分母。
二、先给结论
同一连接键左右各有多条记录时，会产生组合行。连接前定义关系基数，连接时用validate校验，连接后检查行数与未匹配；去重不能替代业务决策。
推荐：先统计重复和类型，再声明基数；不符合则拒绝或有依据聚合；之后复核行数与覆盖。
不推荐：省略输入语义和指标口径，仅凭单次输出扩大结论。
成功判据：原连接5行，id一4组合；validate抛MergeError；右侧聚合后3行、未匹配1。
三、任务与数据契约
| 项目 | 本期约定 |
|---|---|
| 输入 | 完整代码构造的合成数据 |
| 输出 | 数值、图表或异常及原始日志 |
| 环境 | Windows 11、Python 3.13.9，依赖见记录 |
| 不在范围 | 真实业务、生产容量和跨设备性能 |
四、前置准备
在新目录保存工作目录中的实验.py为main.py，再执行：
python -m venv .venv .\.venv\Scripts\python.exe -m pip install numpy==2.3.5 pandas==2.3.3 .\.venv\Scripts\python.exe main.py
本次实际执行使用 Windows 11、Python 3.13.9；代码只生成合成输入，不依赖账号、令牌或隐藏文件。
五、核心原理
主键：在约定实体表中唯一识别记录的键。
基数：键在左右两表的重复关系。
validate：验证连接关系承诺的参数。
indicator：标注匹配来源的输出字段。
多对多：同键两边都可有多条记录。
组合放大怎样发生
左表id一有十、二十两值，右表id一有零点八、零点九两值，所有可匹配组合都会生成，得到四行。左表id二无右匹配，在左连接中保留缺失行。输入行数不是输出上限，多对多结果可能远大于两表。
indicator是覆盖率证据
未匹配标记区分两侧都有、仅左和仅右。左连接输出看不到未进入结果的所有右侧记录，因此若需双向覆盖需外连接或独立集合差。只检查非空列不能完整评价连接质量，特别是零值、缺失和空键可能具有不同含义。
去重和聚合不是同义词
保留第一条去重可能丢掉有效历史，聚合均值可能改变业务时间，选择最新又需要可靠时间列。本例用均值仅作为合成修复演示，不推荐在真实评分表上无条件照抄。修复必须保留原始记录和选择依据，让合并可回滚。
六、完整项目
完整脚本位于_work/第76期-合并与连接/实验.py。它包含正常、边界和失败断言；复制到main.py后可独立运行。
import pandas as pd from pandas.errors import MergeError left=pd.DataFrame({"id":[1,1,2],"a":[10,20,30]}) right=pd.DataFrame({"id":[1,1,3],"b":[.8,.9,.7]}) result=left.merge(right,on="id",how="left",indicator=True) print(result.to_string(index=False)) print("输入行数",len(left),len(right),"左连接行数",len(result),"id=1组合数",int((result["id"]==1).sum())) try: left.merge(right,on="id",validate="one_to_many") except MergeError: print("validate拒绝左键重复") aggregate=right.groupby("id",as_index=False)["b"].mean() fixed=left.merge(aggregate,on="id",how="left",validate="many_to_one",indicator=True) print("聚合后行数",len(fixed),"未匹配",int((fixed["_merge"]=="left_only").sum())) assert len(fixed)==len(left) print("空右表左连接行数",len(left.merge(right.iloc[:0],on="id",how="left"))) 实现与结果的进一步核验
连接前的检查单
左右分别统计键类型、缺失、重复数量和样本单位。编号字符串与整数可能不兼容，前导零还可能被先前读CSV丢掉。将键格式转换需要明确业务规则，不能为了让merge运行就统一转成字符串掩盖原语义差异。
连接后的覆盖检验
本例id二标记仅左，id三只在右表但左连接结果中不出现。报告未匹配时应说明相对于哪张表的分母；双向覆盖可以外连接或分别检查键集合。只有总体行数正确，也可能把实体错配到同样数量，必须抽样核对真实对应。
聚合修复的责任
右表同键两个评分求均值只是演示。真实数据可能表示两个不同时间、不同来源或重复采集，应该分别保留、按时间选最新或拒绝，不能默认平均。将修复选择写入数据字典和审计记录，比随意drop_duplicates更可追溯。
空键的特殊语义
Pandas连接中空键行为需核对官方文档，不能假定完全等同数据库SQL。业务主键通常不应为空，可先拒绝或隔离。若空键代表未知实体，把它们互相匹配会制造虚假对应；明确策略后再执行连接，减少结果正常但含义错误的风险。
性能不先于关系正确
多对多大表可能在匹配阶段产生巨大输出，资源上限应在连接前估算。分块也不能修复错误关系，只将放大分成多次发生。先用validate挡住不允许基数，再评估索引、排序、内存和输出大小；本篇不提供大表性能排名。
七、可复现失败案例
声明一对多被左侧重复键拒绝；多对多放大到5行；未匹配id二显式标记。 这是构造的教学失败，不是线上事故。复现顺序是保存输入、运行脚本、记录输出、只改一个条件后重跑。修复后必须同时检查正常样本，不能用默认值掩盖错误。
八、实验设计与实际结果
原连接5行，id一4组合；validate抛MergeError；右侧聚合后3行、未匹配1。 本次已经执行，退出状态为0；完整输出见工作目录。控制变量、样本量和参数写在脚本中。
id a b _merge 1 10 0.8 both 1 10 0.9 both 1 20 0.8 both 1 20 0.9 both 2 30 NaN left_only 输入行数 3 3 左连接行数 5 id=1组合数 4 validate拒绝左键重复 聚合后行数 3 未匹配 1 空右表左连接行数 3
数字怎样对应本期机制
声明一对多要求左键唯一，示例左键重复会被拒绝。聚合右表后声明多对一，输出回到左表三行。校验不是自动修复，它只把不满足关系的输入拒绝；业务仍需决定哪边聚合、按什么函数、是否允许重复。
九、常见问题与排查顺序
先检查对象定义，再检查输入、形状、分母、索引或时间点，最后检查实现与环境。concat按轴拼接，merge按关系键匹配，join常围绕索引，三者不能只按函数短长选择。类型不一致、前导零、空键和索引重叠都需检查。空右表左连接仍保留左行，本篇验证该边界，避免把没有匹配误当没有输入。 不要把一次成功当成稳定性证明，也不要把技术指标直接换成业务价值。
十、系统与依赖差异
本次只在记录的 Windows 和库版本运行。浮点末位、计时、字体、编码和表格默认行为可能跨环境变化；未执行部分保持待核验。
十一、验证清单
执行脚本，核对退出状态与本篇实际输出。
重跑本篇正常、边界和失败样本，检查数值或拒绝结果。
更换数据时重新检查对象、分母和评价条件。
验收判据：原连接5行，id一4组合；validate抛MergeError；右侧聚合后3行、未匹配1。
十二、面试题与追问
主键在本期是什么？
答：在约定实体表中唯一识别记录的键。 同名id只是候选连接字段。要确定它代表用户、订单还是事件，以及在哪张表唯一。同一用户多笔订单可以是一对多，同一订单重复采集却可能是数据错误。接口应写清实体单位，否则看似合法连接会改变报表分母。
追问：改变这个条件后，哪一个输出或失败判据应该变化？
基数在本期是什么？
答：键在左右两表的重复关系。 左表id一有十、二十两值，右表id一有零点八、零点九两值，所有可匹配组合都会生成，得到四行。左表id二无右匹配，在左连接中保留缺失行。输入行数不是输出上限，多对多结果可能远大于两表。
追问：改变这个条件后，哪一个输出或失败判据应该变化？
validate在本期是什么？
答：验证连接关系承诺的参数。 声明一对多要求左键唯一，示例左键重复会被拒绝。聚合右表后声明多对一，输出回到左表三行。校验不是自动修复，它只把不满足关系的输入拒绝；业务仍需决定哪边聚合、按什么函数、是否允许重复。
追问：改变这个条件后，哪一个输出或失败判据应该变化？
indicator在本期是什么？
答：标注匹配来源的输出字段。 未匹配标记区分两侧都有、仅左和仅右。左连接输出看不到未进入结果的所有右侧记录，因此若需双向覆盖需外连接或独立集合差。只检查非空列不能完整评价连接质量，特别是零值、缺失和空键可能具有不同含义。
追问：改变这个条件后，哪一个输出或失败判据应该变化？
多对多在本期是什么？
答：同键两边都可有多条记录。 保留第一条去重可能丢掉有效历史，聚合均值可能改变业务时间，选择最新又需要可靠时间列。本例用均值仅作为合成修复演示，不推荐在真实评分表上无条件照抄。修复必须保留原始记录和选择依据，让合并可回滚。
追问：改变这个条件后，哪一个输出或失败判据应该变化？
十三、工程判断与下一期
先统计重复和类型，再声明基数；不符合则拒绝或有依据聚合；之后复核行数与覆盖。 下一期为AI-0237 Matplotlib 基础。本期保留的契约和反例会继续使用。
从本地证据到实际决策
重复记录与合法历史
同实体多条不一定脏数据，可能是多个事件或时间版本。定义主键时可使用复合键，也可先按目标窗口选择版本；直接按实体去重会丢历史。连接前确认记录层级能防止将用户表与事件表误当同层唯一表。
基数校验的持续价值
一次validate通过不保证未来输入永远符合，数据源新增记录后可能变化。因此把检查放进每次管道入口，出错时隔离问题批次并保留摘要。不要为了恢复运行去掉校验，这样会让后续指标悄悄变化而无法追踪。
输出顺序和字段后缀
连接之后记录顺序、同名字段后缀和索引都需检查，下游若按位置使用尤其危险。多个同名字段可能来自不同版本，不能只删一列让接口通过。保存字段来源映射帮助复核哪一项是真正任务输入。
空表和无匹配分开
右表为空仍左连接保留三行，全部没有匹配；左表为空则没有待输出主体。这是不同状态，报告应给输入数量和覆盖。业务若要求必须匹配，可在连接后主动拒绝，而不是把缺失默认成零继续使用。
合法数据的回滚
聚合修复前保留原表和规则，输出记录匹配来源，回滚恢复数据版本与连接策略。如果仅恢复输出而继续用新键转换规则，下次运行仍可能重现问题。合并脚本和输入契约应作为同一可复现工件。
连接复验不能只看输出长度
右侧聚合后输出三行只是一个必要检查。还应检查每条左记录保留、聚合评分规则明确、未匹配数量和来源标记。原先id一四条组合缩到两条，代表关系从多对多变为多对一，而不是程序神奇消除所有数据问题。
如果聚合后评分恰好看起来合理，也需回到业务说明是否可以平均；两个不同事件平均可能不是任何真实事件值。本文保留原表，读者可比较每行输入与输出，不将这个演示直接作为通用修复规则。真实管道应保存处理版本与被聚合记录数。
主键校验、输出行数和抽样对应三类证据一起使用：主键校验挡住违反关系的输入，行数检查发现规模变化，对应核对发现语义错配。它们互补，不能挑一项替代全部。修复记录还应写明哪些右侧实体未使用，避免将左连接覆盖率称为两表完全匹配。
官方资料
Merge, join, concatenate and compare — pandas 3.0.6 documentation：用于核对本期技术机制或接口，查阅日期为2026-10-13。
适用边界
只覆盖脚本中的合成数据、明确假设和已记录版本。真实业务需追加授权、监控、资源预算、回滚和领域验证。
