Calculadora de significancia de pruebas A/B

Ejecuta una prueba z bilateral de dos proporciones. A partir de los visitantes y las conversiones de cada variante calcula ambas tasas de conversión y luego una puntuación z usando el error estándar combinado, que convierte en un valor p. Si el valor p está por debajo del umbral de significancia elegido (por ejemplo 0,05 con un 95 % de confianza), la diferencia se marca como estadísticamente significativa. Todo se calcula en tu navegador.

El valor p es la probabilidad de observar una diferencia al menos tan grande como la tuya si las dos variantes hubieran rendido realmente igual. Un valor p pequeño indica que es poco probable que la diferencia se deba al azar. Con un 95 % de confianza, un resultado se considera significativo cuando el valor p es inferior a 0,05; con un 99 % de confianza, el límite es 0,01.

No hay un número único, pero las muestras muy pequeñas producen valores p ruidosos que pueden cambiar con unas pocas conversiones adicionales. Como regla general, espera a que cada variante tenga al menos unos cientos de conversiones y a que la prueba haya durado lo suficiente para cubrir la variación normal según el día de la semana antes de fiarte del veredicto.

No. La significancia indica que una diferencia es probablemente real, no que sea lo bastante grande como para importar. Mira siempre la mejora relativa junto con el valor p: una mejora mínima puede ser estadísticamente significativa con una muestra enorme, mientras que una mejora prometedora puede no serlo aún si la muestra es pequeña.