很多人读研究时会踩一个大坑：一篇实验「没有得出统计学显著的结果」，就直接解读成「这个方法没用」。 但统计学有一句经典名言：缺乏证据 ≠ 证明不存在（Absence of evidence is not evidence of absence）。 什么时候，我们才可以有理有据地宣称某样东西真的没有实际效果？这篇文章就来讲清楚这件事
一、一个常见的逻辑陷阱
我们经常看到这类说法：
“目前没有高质量证据证明这款保健品能减重，所以它对减重没有效果。”
这句话听上去合理，但其实犯了一个统计学错误。
没有找到效应的证据（absence of evidence） ≠ 找到证据证明效应不存在（evidence of absence）
举个直观例子： 你用一台分辨率很低的显微镜去观察病毒。视野里看不到病毒，不能证明样本里没有病毒，只能说明：设备灵敏度不够，我们无法确认病毒是否存在。这就是「缺乏证据」。
只有使用足够高精度的设备，反复观测，依然没有发现病毒，我们才有理由说：样本中不存在病毒。这才是「证据证明不存在」。
放到临床试验里： 一项小样本实验得出不显著结果，有可能是干预本身真的无效；但也有可能是样本太少、噪音太大，哪怕真实存在效果，实验也检测不出来。此时只能说：证据不足，暂时无法下判断，而不是直接下定论说无效。
很多科普文章、媒体报道，甚至学术论文，都常常混淆这两个概念。
二、传统显著性检验（p 值），根本没法证明 “没有效果”
我们最熟悉的统计方法：零假设显著性检验（NHST），也就是大家常看的 p 值。
它的逻辑是：
- 先假设两组完全没有差异（零假设 H₀）
- 如果数据和这个假设冲突足够大（p＜0.05），我们就拒绝零假设，认为存在效应。
⚠️ 重点来了：
如果 p＞0.05，结果不显著，统计上只能写「我们无法拒绝零假设」。 这句话不等于 “零假设是对的”，不等于证明没有效应。
不显著的结果，存在多种可能性：
• 干预确实没有效果；
• 干预有效，但样本量太小，统计效能不足，没能检出效应；
• 实验噪声大、测量误差高，掩盖了真实效应。
一个经典反例：靠 “数显著结果” 判断效果会翻车
有一种错误做法叫「计票法」：汇总多篇研究，数一数有多少篇显著、多少篇不显著。如果大部分研究结果不显著，就宣称这个疗法无效。
统计学界早就明确反对这种做法。 文章举了他莫昔芬的例子：28 个独立临床试验，单独看绝大多数试验结果都不显著；但把所有数据合并做元分析之后，能清晰看到药物对降低乳腺癌死亡率有明确效果。
如果单纯靠 “数显著与否”，我们就会得出完全相反、错误的结论。
反过来还有一个坑：超大样本下，哪怕效应微小到现实中毫无意义，也能做到统计显著。 统计显著 ≠ 现实中有意义。 只看 p 值做二分判断，会丢失最核心的信息：效应有多大，估计的精度如何。
✅ 核心观点：不要只盯着 p 值；优先看效应量和估计区间。
三、四种方法：真正支持 “干预没有实际效果” 的统计工具
如果我们想要得到「证据证明不存在有实际意义的效应」，不能依赖传统 p 值检验。文章介绍了四种可行方案，每种都有自己的适用范围与局限。
- 等效检验（Equivalence Testing，TOST）
传统检验默认假设 “没有效应”，然后尝试推翻它。等效检验颠倒了举证思路。
操作思路： - 提前定义：多大的效应才算有实际价值。小于这个阈值的效应，就算作无关紧要、可以忽略。
- 检验假设变成：是否存在这个有实际意义的效应。
- 如果最终数据表明，效应落在我们预先划定的 “无实际意义区间” 内，我们就可以拒绝 “存在有效效应”，支持结论：不存在有实际价值的效果。
局限：在很多学科普及度不高；同样会受到样本量、统计效能限制。 - 贝叶斯因子（Bayes Factor）
贝叶斯因子可以直接比较：当前数据，到底是更支持「存在效应」还是「不存在效应」。
一般规则：贝叶斯因子 BF₀₁ 足够大（常见阈值 3、6、10），代表数据更支持零假设，也就是效应不存在。
⚠️ 巨大风险：贝叶斯因子高度依赖先验分布。很多人直接套用软件默认先验，很容易得出误导性结论。作者提醒：机械套用默认参数，属于 “膜拜公式的统计学”，要警惕。 - 置信区间（兼容区间）
不用纠结 p 值，直接看效应量的区间估计。
• 如果置信区间很宽，同时包含 0 和很大的效应值：信息不足，只能是缺乏证据，不能说无效；
• 如果置信区间很窄，整个区间全部落在「现实中无意义的微小效应范围」：这时我们才有依据认为，不存在值得关注的效应。
补充小科普：频率派 95% 置信区间，不是 “真实参数有 95% 概率落在区间里”。频率派视角下，真实值是固定的，区间是随机的。单次计算出来的区间，要么包含真值，要么不包含。 - 贝叶斯可信区间（HDPI）+ ROPE（实际等效域）
贝叶斯版本的区间思路。先划定 ROPE：一个效应足够小、在现实中等同于无效的区间。
• 95% 最高后验密度区间（HDPI）全部落在 ROPE 内部：支持无实际效应；
• HDPI 完全落在 ROPE 之外：支持存在效应；
• 两者部分重叠：证据不足，暂缓下结论。
局限：小样本场景下，结果会受到先验分布的明显影响。
四、科研里很重要的一个态度：不必强行给出是非判断
很多人默认，做完研究，就一定要得出 “有效 / 无效” 二选一结论。
但扎德·拉菲提出：不是所有数据都足够回答我们的问题。 当证据不够的时候，最严谨的做法是悬置判断：现有信息不足以确认，而不是强行站队。
还有一个常见误区：有人认为，不显著结果，再配上事后效能分析，就可以证明真实效应很小。文章指出，事后功效分析本身存在缺陷，这个推理逻辑站不住脚。
上面介绍的等效检验、贝叶斯因子、区间估计，都有各自的前提假设。 统计推断永远依赖模型设定，统计结论不等于绝对真理。工具只是帮我们量化证据强度，不能代替逻辑思考。
缺乏证据 ≠ 证明不存在。
p 值不显著，仅仅代表实验没能检出效应。想要宣称某件事真的没有实际效果，需要专门的统计设计：预先定义有意义的效应大小、足够的样本量、狭窄的效应区间，或是等效检验、贝叶斯因子这类方法。
下次再看到 “研究没发现效果” 的新闻，别急着下结论，先想一想：这到底是证据不足，还是证据证明无效？
