1. 心理学实验样本量计算的核心逻辑
做心理学实验最让人头疼的问题之一就是:到底需要多少被试?这个问题看似简单,实际上涉及到统计功效、效应量、检验方法等多个维度的考量。我见过太多研究者在这个问题上栽跟头——有的收了几十个被试就匆忙开始分析,结果发现效应不显著;有的收了上百个被试,却发现实验设计本身存在问题。
统计功效(statistical power)是指你的实验能够检测到真实效应的概率。一般来说,我们希望这个概率能达到80%以上。举个例子,如果你要比较两组人的记忆成绩,假设真实的组间差异存在(比如d=0.4),那么你的实验设计应该有80%的概率能检测到这个差异。要达到这个目标,就需要足够的样本量。
效应量(effect size)是另一个关键指标。在心理学领域,Cohen's d=0.2被认为是小效应,0.4是中等效应,0.8是大效应。但要注意,很多新手会犯一个典型错误——高估自己研究的效应量。我见过不少研究者自信满满地认为自己的实验效应量能达到0.8,结果实际分析时发现连0.3都不到。稳妥起见,建议按中等效应量(d=0.4)来计算样本量。
2. 不同实验设计下的样本量计算
2.1 t检验场景
独立样本t检验是最常见的设计之一。假设你想比较两组人的反应时差异,预期效应量d=0.4,显著性水平α=0.05(双尾),统计功效80%。用G*Power计算会发现每组需要100人,总共200人。这个数字可能会让很多研究者望而却步。
重复测量t检验(配对样本t检验)由于考虑了被试内变异,需要的样本量会小很多。同样的参数设置下,只需要52名被试。这就是为什么在条件允许的情况下,研究者更倾向于采用重复测量设计。不过要注意,重复测量设计可能存在顺序效应,需要通过平衡设计来规避。
2.2 方差分析场景
单因素组间方差分析(三个水平)需要的样本量会显著增加。假设三个水平中最大差异的效应量d=0.4,用G*Power计算f系数(f=0.2),结果显示每组需要75-100人,总样本量225-300人。如果是更复杂的2×2组间设计,样本量需求会呈几何级数增长。
重复测量方差分析的情况会好一些。同样是三水平设计,如果重复测量变量间的相关性r=0.5,大约需要75名被试;如果r=0.9,样本量可以进一步减少。这解释了为什么认知心理学实验经常采用高相关性的重复测量设计——比如同一个被试完成所有实验条件。
3. 传统统计与贝叶斯分析的样本量差异
3.1 传统p值检验的局限性
传统p值检验(p<0.05)存在众所周知的缺陷——容易产生假阳性。我做过一个模拟实验:生成100组随机数据,用t检验分析,结果有5组达到了"显著"水平(p<0.05)。这就是为什么单纯依赖p值很容易得出错误结论。
更隐蔽的问题是p-hacking——研究者通过不断调整分析方法(比如剔除异常值、变换变量等)直到获得显著结果。这种操作会严重高估效应量。一个实用的建议是:在收集数据前就确定好分析方案,并坚持执行。
3.2 贝叶斯分析的样本量需求
贝叶斯因子(Bayes Factor)提供了另一种思路。通常认为BF>10是支持备择假设的强证据。但达到这个标准需要更大的样本量。例如,组间t检验(d=0.4)需要每组190人,比传统检验多出近一倍。
贝叶斯分析的样本量计算更复杂,因为没有现成的公式。我的经验是:先用G*Power计算传统检验的样本量,然后乘以1.5-2倍。也可以使用JASP软件进行模拟分析,它会给出不同样本量下贝叶斯因子的预期分布。
4. 实际操作中的样本量优化策略
4.1 预实验与效应量估计
很多研究者跳过预实验直接进入正式实验,这是非常危险的。我建议至少做一个小规模预实验(n=20-30)来估计效应量。实际操作中,你会发现文献报告的效应量往往高于实际值。比如某篇论文报告d=0.6,你的预实验可能只得到d=0.3。
预实验还能检验实验流程是否顺畅。我曾设计过一个记忆实验,预实验时发现任务太难导致天花板效应,及时调整后才避免了正式实验的灾难。
4.2 提高测量精度的方法
增加每个被试的测量次数是提高统计功效的有效方法。比如在反应时实验中,让每个被试完成100次试次比50次试次能更稳定地估计其真实水平。这种方法特别适合fMRI等昂贵的研究,可以用较少被试获得可靠数据。
另一种策略是提高测量工具的信度。一个信度0.6的量表要检测d=0.4的效应,可能需要200人;如果改用信度0.9的量表,可能只需要80人。这就是为什么开发高信度的测量工具如此重要。
4.3 在线实验平台的利用
传统实验室研究很难招募大量被试,但现在有了Prolific、Credamo等在线平台,收集几百份数据不再是难事。我最近的一个项目在两周内就收集了500份有效数据,成本还不到实验室研究的一半。
不过在线实验有特殊注意事项:要设置注意力检查题,剔除反应时间过短或模式化作答的被试;要针对小屏幕优化实验材料;要考虑网络延迟对计时精度的影响。