A/B 测试显著性计算器

它执行双侧双比例 z 检验。根据每个变体的访客数和转化数算出两个转化率，然后用合并标准误计算 z 值，并将其转换为 p 值。如果 p 值低于你选择的显著性阈值（例如 95% 置信水平下的 0.05），该差异就会被判定为具有统计显著性。所有计算都在你的浏览器中完成。

p 值是指：若两个变体实际表现相同，观察到至少与你这次一样大的差异的概率。p 值越小，说明这一差距越不可能是偶然造成的。在 95% 置信水平下，当 p 值低于 0.05 时即视为显著；在 99% 置信水平下，门槛为 0.01。

没有单一的数字，但样本过小会产生不稳定的 p 值，几次额外转化就可能让结论翻转。经验上，应等到每个变体至少积累几百次转化，并让测试运行足够长的时间以覆盖一周内不同日子的正常波动，再去相信判定结果。

不等于。显著性说明差异很可能是真实的，而非说明它大到足以产生实际意义。请始终把相对提升与 p 值一并查看：在样本极大时，微小的提升也可能具有统计显著性；而当样本较小时，看起来不错的提升可能还达不到显著。