一句话定义
多重比较是同时或反复做很多检验时,假阳性概率累积上升的问题。
机制 / 原理
如果每个无效假设都有 5% 误报机会,检验越多,至少碰到一个偶然显著结果的机会就越高。多重比较的风险不只来自正式检验,也来自反复切分人群、挑指标、换口径。应对方式包括事前指定主要指标、校正阈值、保留验证集和重复验证。
经典实验 / 例子
研究者一次检验 100 个基因与疾病的关系,即使没有真实关系,也可能出现几个 p<0.05 的结果。若不校正或复现,就容易把随机命中当作发现。
生活中的例子
增长团队在上百个城市、渠道和用户分层里找“显著提升”,最后挑一个最好看的发战报。没有事前计划或验证集,这很可能只是事后筛选。
常见误区
常见误区是认为检验越多越接近真相。问题问得越多,偶然显著也越多,必须控制或验证。