一句话定义
A/B 测试是在产品环境中随机分配不同版本,并比较预设指标差异的实验方法。
机制 / 原理
A/B 测试把随机对照实验放进产品迭代:用户随机进入 A 或 B 版本,两组在平均意义上可比,再比较点击率、转化率或留存等指标。好的 A/B 测试要事前定义指标、保证随机分流、避免实验污染,并检查短期收益是否伤害长期体验。
经典实验 / 例子
网站可以随机让一半用户看到旧按钮,一半用户看到新按钮。如果新按钮组转化率显著更高,且样本足够、分流正常,就有较强证据说明按钮改变带来提升。
生活中的例子
短期点击率提高不一定值得上线。标题党按钮可能让点击上升,却降低信任、复访和长期留存。
常见误区
常见误区是 A/B 测试只要赢了就能永久推广。还要看指标是否预设、实验是否干净、长期副作用是否可接受。