Калькулятор значимости A/B-теста

Он выполняет двусторонний z-тест для двух долей. По посетителям и конверсиям каждого варианта он вычисляет оба коэффициента конверсии, затем рассчитывает z-оценку на основе объединённой стандартной ошибки и преобразует её в p-значение. Если p-значение ниже выбранного порога значимости (например, 0,05 при доверии 95 %), разница помечается как статистически значимая. Все вычисления выполняются в вашем браузере.

P-значение — это вероятность увидеть разницу не меньше вашей, если бы оба варианта на самом деле работали одинаково. Малое p-значение означает, что разрыв вряд ли объясняется случайностью. При доверии 95 % результат считается значимым, когда p-значение меньше 0,05; при доверии 99 % порог равен 0,01.

Единого числа нет, но очень малые выборки дают шумные p-значения, которые могут измениться от пары лишних конверсий. Как правило, дождитесь, пока у каждого варианта наберётся хотя бы несколько сотен конверсий, а тест проработает достаточно долго, чтобы охватить обычные колебания по дням недели, прежде чем доверять выводу.

Нет. Значимость говорит о том, что разница, скорее всего, реальна, а не о том, что она достаточно велика, чтобы иметь значение. Всегда смотрите на относительный прирост рядом с p-значением: крошечный прирост может быть статистически значимым при огромной выборке, тогда как многообещающий прирост может ещё не быть значимым при малой выборке.