表格基础模型懂物理吗？数据污染、单位语义与确定性极限的可靠性评估

上个月，我在一份内部评估报告里看到这样的现象：一个在表格数据上预训练的模型，预测合金的弹性模量时，测试集误差在 3% 以内，看起来非常能打；但评估的人随手把单位从 GPa 换成了 MPa，再把特征列里的数值整体缩放后重新预测，误差飙升到 20% 以上。评估者的第一反应是“是不是代码写错了”，第二反应才是“这个模型到底懂不懂物理”。在表格基础模型（Tabular Foundation Models）越来越频繁地走进材料、化学、医疗和工业场景的当下，这个疑问值得展开说说。

围绕这个标题，我想聊三个更容易被忽略的变量：数据污染、单位语义、确定性极限。它们共同决定了表格基础模型在物理类任务上的可靠性。比起“模型准确率有多高”，更关键的问题是：这个准确率是怎么测出来的？有没有可能模型只是在背答案，而不是在解题？

1. 表格基础模型真正擅长的是什么

1.1 先搞清楚模型在表格数据里学到的到底是什么

表格基础模型的常见使用方式，是在大规模、异构的表格数据上进行预训练，再用来做缺失值补全、分类、回归、生成等任务。它和传统机器学习模型的本质区别在于“基础模型”这个词：它希望从海量表格中学到一种跨表结构、跨任务的通用表示能力，而不是只针对某个固定特征矩阵。

但这个通用表示能力，本质上仍然是统计相关性的压缩。模型从训练数据里学到的，是“哪些特征组合与目标值经常一起出现”。这种学习方式非常适合处理结构化数据里的模式关联，比如某个行业指标和另一组指标之间具有稳定的统计关系。它和物理公式、守恒定律、量纲分析没有直接关系。

我们很容易被表格基础模型的高精度误导。因为表格数据通常是低维的、特征语义相对清楚，模型只要记住一些常见的数值分布和特征组合，就能在分布内测试集上拿到不错的分数。但这并不等于模型理解这些数字背后的物理意义。就像一个人可以背下几百个城市的气温数据，并在被问到“已知往年 7 月气温，猜今年 7 月”时给出非常准确的答案，但你不能因此说这个人懂气候学。

1.2 “答对一次”和“懂物理”之间有本质区别

物理意义上的“懂”，至少应该包含几个能力：知道物理量的量纲，知道单位变化不改变物理实在，知道某些数值组合在物理上不可能成立，知道外推到训练范围之外时结果需要符合物理规律。

表格基础模型不天然具备这些能力。它们看到的只是一堆数值。如果你想确认模型是否“懂物理”，不能只看整体误差，而要设计对抗性的测试条件。换句话说，这个问题真正的难点不在模型，而在评估设计。

我在很多实际项目里见过同一个陷阱：团队拿一份历史数据，随机划分训练集和测试集，然后报告“模型在测试集上表现很好”。这个流程对一般业务预测可能够用，但对物理类任务远远不够。因为随机划分会高估模型在新条件、新来源、新单位、新实验批次上的表现。因此，评估表格基础模型是否理解物理，第一件事不是调整网络结构，而是重新设计评估协议。

2. 数据污染：当测试集里混进了“标准答案”

2.1 污染不一定是故意作弊，更多是同源拷贝

数据污染，在表格基础模型的研究和实践中被反复提及。它指的是测试样本的信息，直接或间接出现在了模型训练数据里。在图像和文本任务里，重复样本还比较容易发现；但在表格数据里，污染非常隐蔽。

举例来说，很多公开数据集来自实验室记录、设备采集、传感器日志。同一台设备、同一批原料、同一波实验条件下采集的数据，数值之间往往高度相似。如果你把整个数据集直接拆分，训练集和测试集里都包含来自同一批次实验的数据，那么模型不需要理解物理，只需要记住“这个设备在这个条件下的常见结果”，就能在测试集上拿到不错的预测。

更麻烦的是跨数据集的污染。表格基础模型训练时，可能已经“见过”网上公开的科学数据库。而你在评估时，又使用了同一个数据库的测试集。这种泄漏很难在事后发现，因为表格里的数值被缩放、归一化、加噪声之后，肉眼看不出重复。于是模型的性能就会被严重高估。

有的团队误以为“只要按行随机拆分就不会泄漏”。但在物理类数据里，同一实验源、同一配方、同一时间窗口的样本，本身就带有强相关。随机按行拆分会把同源样本同时放进训练集和测试集，导致测试结果出现虚假的乐观。

2.2 模型是在“背答案”，还是在“解题”？从异常信号里判断

当你怀疑模型可能有污染时，可以先看几个信号。

第一个信号是：模型在常规测试集上表现很好，但换一个不同来源或不同时间段的数据后，误差急剧上升。如果模型真的学到了物理规律，迁移到同一物理场景时通常不会崩得那么快。因为物理规律不随数据来源改变。

第二个信号是：对特征进行轻微扰动后，模型预测的变化非常小，甚至几乎没有变化。这不是模型稳定，而可能说明模型已经记住了某个特定样本和特定输出之间的关系。对真实物理关系来说，微小扰动通常会引起合理范围内的响应变化，而不是完全不动。

第三个信号是：模型对某些看似无关的特征高度敏感。比如预测弹性模量时，模型主要依赖的是样本编号或实验日期，而不是材料成分和温度。如果出现这种情况，很可能模型找到的不是物理因果，而是数据顺序里的规律。

2.3 做污染检查，不能只靠整体精度

我在做这类评估时，通常会按下面的顺序做一次“污染体检”：

第一，改用时间划分测试集。所有训练数据必须早于测试数据，确保模型没有见到未来样本。对很多实验数据来说，这比随机划分更接近真实预测场景。

第二，按来源分裂。如果数据来自多个实验室、设备、批次或配方版本，训练集和测试集要按来源分组，而不是按行打散。这一步能明显降低同源样本泄漏。

第三，做近重复检测。对数值特征做标准化或分箱后，计算测试样本与训练样本的相似度。如果有大量高度相似样本，就需要对测试结果打一个折扣。

第四，做特征掩盖测试。随机删除一个核心物理特征，再看看模型预测是否仍然有效。如果删掉温度、压力、成分之后预测结果几乎没有变化，那么模型大概率依赖的是一些伪装特征，而不是物理变量。

这里可以给一个非常简化的示意代码，帮助理解“近重复检测”的过程：

# 示意：对数值特征做分箱后，用哈希快速查找训练集中与测试样本高度相似的记录 import hashlib def row_hash(row, bins=10): rounded = [round(v / bins) for v in row] return hashlib.md5(str(rounded).encode()).hexdigest() train_hashes = set(train_df[feature_cols].apply(lambda r: row_hash(r), axis=1)) test_hashes = test_df[feature_cols].apply(lambda r: row_hash(r), axis=1) overlap_ratio = test_hashes.isin(train_hashes).mean() print(f"测试集中与训练集高度重复的比例: {overlap_ratio:.2%}")

这段代码不是最终方案，但它能快速暴露一个危险信号：如果 overlap 比例很高，那么后续所有模型评估结果都不可信。

3. 单位：数字的尺子，也是模型的“盲区”

3.1 模型看到的是数值，不是单位

表格基础模型处理的大多数输入都是数值。数据表里的“温度”列可能存的是 298，但如果没有额外说明，模型并不知道这是开尔文、摄氏度还是华氏度。对模型来说，298 就只是一个浮点数。

这在物理类任务里是致命的。因为单位不仅影响数值的大小，还决定了一个物理量的语义。温度 298 在开尔文下是室温，在摄氏度下已经接近沸点，在华氏度下则是高温蒸汽。如果训练数据全是用开尔文表示的物理量，而测试数据换成摄氏度，模型看到的输入分布会完全不同，性能下降是必然结果。

更隐蔽的问题在于，很多模型训练过程中会做归一化。比如用均值-方差标准化，把所有特征变成零均值、单位方差。这个过程会丢失原始量纲信息。如果评估阶段再遇到不同单位的特征，模型会把不同的物理量看成完全不同的输入空间。它无法自动知道“1 米”和“100 厘米”描述的是同一个物理长度。

3.2 单位不一致带来的三类常见错误

在表格基础模型的真实使用中，单位问题通常体现为几种情况。

第一种是绝对尺度偏移。一个物理量从标准单位换成非标准单位后，数值范围变化很大。模型在训练分布附近可能表现正常，但只要输入尺度偏离训练时的范围，预测就会快速失真。

第二种是量纲转换丢信息。有些数据源把单位写在列名里，例如“temperature_K”，另一些数据源只写“temperature”，还有一些数据源甚至把“压力”和“压强”混用。当你拼接多个数据源形成训练集时，模型可能会学到“数值大小与目标值之间的关系”，而不是“这个物理量本身与目标值的关系”。

第三种是单位混用导致的自相矛盾。比如一个数据集中，一部分样本的能量单位是焦耳，另一部分样本的能量单位是电子伏特。模型会把它们当作同一个特征维度来学习，结果输出一个既不满足焦耳量级、也不满足电子伏特量级的混合预测。

下表可以更直观地反映这三类错误：

3.3 在训练和评估中把单位语义显式化

要降低单位带来的影响，不能只靠模型自己“悟”。更靠谱的做法是把单位语义显式地设计进特征体系里。

第一，建立单位字典和标准化转换表。所有物理量进入模型前，先统一到一个基准单位体系。温度统一成开尔文，能量统一成焦耳，压力统一成帕斯卡。这个操作看起来简单，但在多数据源场景里特别容易被忽略。

第二，记录特征归一化参数时保留物理单位信息。你不能只存均值和方差，还要知道这个均值和方差对应的单位是什么。否则在未来部署时，你无法判断输入数据是否和训练数据一致。

第三，设计单位鲁棒性测试。在评估阶段，刻意把同一物理量改成不同单位，再输入模型，看预测结果是否保持一致。例如，把温度从 K 改成摄氏度，输入数值变化 273.15，如果模型输出波动很大，说明它没有学到温度背后的物理语义。

我建议把单位鲁棒性测试作为和精度评估同样重要的指标。一个模型的精度再高，只要换单位后结果崩掉，就不能用在物理类任务里。因为真实世界的工程数据里，单位混用几乎是必然发生的事。

4. 确定性极限：模型输出一个数，不代表物理上只有一个答案

4.1 物理约束不会自动进入损失函数

表格基础模型做回归任务时，最常见的输出是一个确定的数值。但物理问题往往不是单点映射。同一个温度和压力下，物质可能处于多个相态；同一个配方下，材料可能因为微观结构不同而表现出不同性能。这些不确定性是物理世界的内在属性，不是噪声。

但模型训练时，通常只用一个损失函数来约束输出，比如均方误差。均方误差会迫使模型输出一个接近训练集平均值的预测，但它不会告诉模型：输出值不能小于 0，不能超过某一物理边界，不能违背能量守恒，不能在相变点附近还给出一个单一确定值。

于是你会看到一些非常反直觉的预测结果：模型预测一个材料的抗拉强度为负值，预测某种物质的密度超过了所有已知材料的上限，或者在相变临界点附近给出一个看起来平滑但实际上物理上不可能存在的中间值。这些错误不是因为模型代码有 bug，而是因为模型本身没有物理约束。

4.2 确定性回归在物理任务中的常见错误

在实际评估中，以下三类错误最容易暴露“确定性极限”：

第一，输出不可能值。比如质量、密度、弹性模量等物理量在常识范围内都不应为负，但模型在数据稀疏区域仍可能输出负数。因为它的损失函数只惩罚“和训练标签的偏差”，不惩罚“违反物理常识”。

第二，外推失效。训练数据中温度范围是 300K 到 800K，当测试温度到 1200K 时，模型很可能延续一个统计趋势线性外推。物理规律在大范围外推时往往存在相变、饱和、拐点，但表格基础模型无法自动引入这些变化。

第三，多解问题被压缩成单点。考虑同一个输入条件下，实验可能产生多个结果。确定性回归会用一组参数拟合所有样本的平均值。这个平均值可能并不是任何一个真实可能出现的状态，而是多个状态的折中，甚至落在物理上不存在的区域。

下表概括了这些物理错误及初步检查方式：

4.3 从输出一个点，走向输出一个合理区间

认识到确定性极限之后，可以尝试以下几种改进方向。

第一，用不确定性估计替换单点输出。分位数回归、贝叶斯神经网络、深度集成等方法都能给出预测区间。但要注意，模型输出区间并不天然代表物理不确定性。你需要用覆盖率指标来检验：在 90% 预测区间内，实际值是否真的落入约 90% 的次数。

第二，把物理约束注入模型。常见做法是后处理投影：对输出做裁剪，使结果落在物理合法范围。另一种做法是在损失函数里加入约束项，惩罚违反物理关系的预测。还有一种思路是设计模型结构本身满足约束，比如单调性约束、物理量纲约束。后者的实现成本更高，但长期可靠性更好。

第三，调整评估指标。不要只报 RMSE 或 R²，还应该报“物理违反率”“区间覆盖率”“分布外性能衰减率”。只有把这些指标纳入评估，你才能真正看出模型是“在做物理题”还是“在做数据拟合”。

5. 一套可复用的可靠性评估框架

5.1 第一步：构造“反污染”数据划分

在一个新项目里，我会先花三分之一的时间设计数据划分，而不是急着训练模型。

具体做法是：

1. 记录每条数据的来源字段，比如实验室编号、设备编号、实验日期、操作人员。
2. 以来源字段为分组单位，而不是以行为单位。
3. 把同一来源的数据全部放进同一划分，避免同源样本同时出现在训练和测试。
4. 如果来源信息缺失，退而求其次，使用权重的近重复检测，但要在报告里注明污染风险。

这一步的目的是让测试结果尽可能反映“模型面对新来源数据”时的表现，而不是“模型背下了该来源的常见结果”。

5.2 第二步：做单位鲁棒性测试

单位测试不应该只做一次，而是要覆盖每个关键物理量。

通用流程如下：

1. 选定一个物理量特征。
2. 在不改变物理意义的前提下，把它转换成另一种常见单位。
3. 保持其他特征不变，重新跑一次预测。
4. 统计预测结果的变化幅度。

如果变化幅度很大，说明模型没有把该物理量当作一个有语义的量来理解。这时你需要决定是否补充单位元数据，或者调整归一化逻辑。

5.3 第三步：做物理一致性校验

你需要针对任务定义一组可自动运行的物理检查规则。

例如：

• 输出是否在物理可能范围内？
• 预测曲线是否满足单调性要求？
• 某些关键特征变换后，预测结果是否符合已知的物理定律？

这些规则不需要一开始就做得很复杂，可以先从最明显的物理常识开始：非负、非零、有限值、范围合理。

5.4 第四步：用不确定性指标代替“精度导向”

如果你最终要做的是工程决策或科学发现，只看点预测是不够的。

建议至少记录三个指标：

1. 点预测误差，比如 RMSE 或 MAE。
2. 预测区间覆盖率，看模型声称的不确定性是否可信。
3. 物理违反率，包括范围外输出、不满足约束条件的样本占比。

这三个指标一起看，才能对表格基础模型在这项任务上的可靠性有一个更完整的判断。

5.5 一个可以直接用的评估记录模板

我在项目里经常使用下面这种结构化模板来记录评估结果，方便横向对比：

把这个表格跑完，你基本就能回答“模型是不是懂这个物理任务”了。如果模型在污染控制、单位鲁棒性和物理一致性上表现都好，那么它在分布内任务上的高精度才更有说服力。

6. 适合谁，不适合谁：使用边界与工程建议

6.1 哪些场景可以尝试使用表格基础模型

表格基础模型在物理类任务中并不是没有价值，它更适合以下场景：

• 数据规模大，特征语义相对清晰，单位和物理量纲已经做过统一。
• 任务目标是初筛、排序、快速估算，后续还有人工或实验验证。
• 数据分布相对稳定，训练集和未来应用场景的分布差异不大。
• 预测误差的代价可控，即使出错也可以被另一套机制兜底。

在这些场景里，表格基础模型可以作为一个快速高效的代理模型，用来压缩高维表格数据中的统计规律，为后续实验排序或缩小候选范围提供帮助。

6.2 哪些场景要非常谨慎

以下几类场景，我会建议慎用表格基础模型直接做最终决策：

• 结果直接用于安全关键系统，比如医疗诊断、结构设计、工业控制。
• 测试数据明显来自不同分布，尤其是不同单位体系、不同设备、不同地域。
• 样本量很小，且存在大量缺失值或来源不明的数据。
• 需要向监管或客户解释预测依据，模型本身无法给出可靠归因。
• 物理规律起主导作用，统计相关性容易被局部数据误导。

在这些场景里，表格基础模型的“高精度”很容易表面化，真正起作用的仍然是对物理过程的理解，以及对数据边界的控制。

6.3 长期使用前必须补齐的工程能力

即使某个表格基础模型通过了上文的小规模可靠性评估，进入长期生产使用之前，还需要补齐几个工程能力：

第一，数据血缘。你需知道训练数据从哪里来，单位是否统一，版本是什么。没有数据血缘，一旦发现预测异常，根本没办法定位是数据问题还是模型问题。

第二，数据泄漏监控。每次训练后，建议自动记录训练集和测试集之间的近重复比例。一旦比例超过阈值，就需要重新评估测试结果。

第三，单位注册表和转换层。所有输入模型的数据都应该经过一个公共的单位转换层，避免不同数据源的单位混用。

第四，异常预测拦截。在模型输出端增加规则检查，例如数值范围检查、物理一致性检查。如果输出违反已知物理约束，直接标记为“不可用预测”，而不是进入下游流程。

第五，不确定性报告。每次预测尽量带有置信度或区间，并在异常情况下提示人工复核。这个能力对物理类任务尤其重要，因为单点预测无法表达模型面临多解区域时的迷茫。

7. 回到标题：模型懂不懂物理，取决于评估者问得是否足够“刁”

现在再回看文章开头那个场景：模型在标准单位下表现优秀，换单位后误差翻倍。这其实不是模型的个体问题，而是整个表格基础模型评估方式的一个缩影。你只问“准确率高不高”，模型就只给你展示它擅长的那一面；你追问“换单位后还准吗”“数据有没有污染”“输出符合物理吗”，模型的真实边界才会暴露出来。

“Tabular Foundation Models Know Physics”这个问题，不应该被理解成一个“是或否”的二元问题。更合理的回答是：它们可能记住了一些和物理相关的数值模式，但它们并不天然具备物理知识。能不能在实际任务里表现出“懂物理”的样子，取决于你有没有在数据划分、单位处理和物理约束三个维度上给它们设置足够严格的关卡。

我建议你下一次拿到某个表格基础模型的评估结果时，先问三个问题：

1. 测试集和训练集之间是否存在数据泄漏？是按来源、按时间划分的，还是随机划分的？
2. 如果把物理量换成不同单位，模型预测还会保持一致吗？
3. 模型的输出值是否满足最基础的物理常识和范围约束？

想清楚这三个问题，再看报告里的精度数字，你会对“模型到底知不知道自己在预测什么”有更接近真实的判断。真正值得托付给模型的，不是那些在干净测试集上闪闪发光的结果，而是在污染、单位和确定性极限这三重压力下仍然站得住的预测。