Calculateur de significativité de test A/B

Il exécute un test z bilatéral sur deux proportions. À partir des visiteurs et des conversions de chaque variante, il calcule les deux taux de conversion, puis un score z à l'aide de l'erreur type combinée, qu'il convertit en valeur p. Si la valeur p est inférieure au seuil de significativité choisi (par exemple 0,05 à 95 % de confiance), la différence est jugée statistiquement significative. Tout est calculé dans votre navigateur.

La valeur p est la probabilité d'observer une différence au moins aussi grande que la vôtre si les deux variantes avaient en réalité la même performance. Une valeur p faible signifie que l'écart est peu susceptible d'être dû au hasard. À 95 % de confiance, un résultat est considéré comme significatif lorsque la valeur p est inférieure à 0,05 ; à 99 % de confiance, le seuil est de 0,01.

Il n'y a pas de chiffre unique, mais de très petits échantillons produisent des valeurs p instables qui peuvent basculer avec quelques conversions supplémentaires. En règle générale, attendez que chaque variante compte au moins quelques centaines de conversions et que le test ait duré assez longtemps pour couvrir les variations normales selon le jour de la semaine avant de vous fier au verdict.

Non. La significativité indique qu'une différence est probablement réelle, pas qu'elle est assez grande pour compter. Examinez toujours le gain relatif en parallèle de la valeur p : un gain minime peut être statistiquement significatif avec un très grand échantillon, tandis qu'un gain prometteur peut ne pas encore l'être si l'échantillon est petit.