← 返回统计与数据判断力
学习进度第 6 / 6 个

A/B 测试

A/B testing · ST11 因果判断与证据等级(Causality and Evidence)

一句话定义

A/B 测试是在产品环境中随机分配不同版本,并比较预设指标差异的实验方法。

机制 / 原理

A/B 测试把随机对照实验放进产品迭代:用户随机进入 A 或 B 版本,两组在平均意义上可比,再比较点击率、转化率或留存等指标。好的 A/B 测试要事前定义指标、保证随机分流、避免实验污染,并检查短期收益是否伤害长期体验。

A/B 测试:产品里的随机实验用户流量随机分流版本 A版本 B比较预设指标,也要检查长期影响和实验污染A/B 测试用随机分流比较版本,但要关注指标、污染和长期影响。
A/B 测试用随机分流比较版本,但要关注指标、污染和长期影响。

经典实验 / 例子

网站可以随机让一半用户看到旧按钮,一半用户看到新按钮。如果新按钮组转化率显著更高,且样本足够、分流正常,就有较强证据说明按钮改变带来提升。

生活中的例子

短期点击率提高不一定值得上线。标题党按钮可能让点击上升,却降低信任、复访和长期留存。

常见误区

常见误区是 A/B 测试只要赢了就能永久推广。还要看指标是否预设、实验是否干净、长期副作用是否可接受。

资料来源:OpenIntro Statistics; CMU OLI Statistical Reasoning; Online Statistics Education; OpenStax Introductory Statistics 2e,课程内容为原创改写 · 第 ST11 节
本讲解由 AI 依据该教材与主流学术观点撰写,非逐字引用,仅供学习参考。