← 返回统计与数据判断力
学习进度第 8 / 8 个

多重比较

Multiple comparisons · ST9 假设检验与 p 值(Hypothesis Testing and p-values)

一句话定义

多重比较是同时或反复做很多检验时,假阳性概率累积上升的问题。

机制 / 原理

如果每个无效假设都有 5% 误报机会,检验越多,至少碰到一个偶然显著结果的机会就越高。多重比较的风险不只来自正式检验,也来自反复切分人群、挑指标、换口径。应对方式包括事前指定主要指标、校正阈值、保留验证集和重复验证。

多重比较:问题越多,偶然越多一次看很多指标,偶然显著会累积***预注册 / 校正 / 验证集多重比较会累积假阳性,需要事前计划、校正和复现。
多重比较会累积假阳性,需要事前计划、校正和复现。

经典实验 / 例子

研究者一次检验 100 个基因与疾病的关系,即使没有真实关系,也可能出现几个 p<0.05 的结果。若不校正或复现,就容易把随机命中当作发现。

生活中的例子

增长团队在上百个城市、渠道和用户分层里找“显著提升”,最后挑一个最好看的发战报。没有事前计划或验证集,这很可能只是事后筛选。

常见误区

常见误区是认为检验越多越接近真相。问题问得越多,偶然显著也越多,必须控制或验证。

资料来源:OpenIntro Statistics; CMU OLI Statistical Reasoning; Online Statistics Education; OpenStax Introductory Statistics 2e,课程内容为原创改写 · 第 ST9 节
本讲解由 AI 依据该教材与主流学术观点撰写,非逐字引用,仅供学习参考。