Calcolatore di significatività dei test A/B

Esegue un test z bilaterale su due proporzioni. Dai visitatori e dalle conversioni di ciascuna variante ricava entrambi i tassi di conversione, poi calcola un punteggio z usando l'errore standard combinato, che converte in un valore p. Se il valore p è inferiore alla soglia di significatività scelta (ad esempio 0,05 con una confidenza del 95%), la differenza viene segnalata come statisticamente significativa. Tutto viene calcolato nel tuo browser.

Il valore p è la probabilità di osservare una differenza grande almeno quanto la tua se le due varianti avessero in realtà le stesse prestazioni. Un valore p basso indica che è improbabile che lo scarto sia dovuto al caso. Con una confidenza del 95% un risultato è considerato significativo quando il valore p è inferiore a 0,05; con una confidenza del 99% la soglia è 0,01.

Non esiste un numero unico, ma campioni molto piccoli producono valori p instabili che possono cambiare con poche conversioni in più. Come regola pratica, aspetta che ciascuna variante abbia almeno qualche centinaio di conversioni e che il test sia durato abbastanza da coprire la normale variazione tra i giorni della settimana prima di fidarti del verdetto.

No. La significatività indica che una differenza è probabilmente reale, non che sia abbastanza grande da contare. Guarda sempre l'incremento relativo accanto al valore p: un incremento minimo può essere statisticamente significativo con un campione enorme, mentre un incremento promettente può non esserlo ancora se il campione è piccolo.