От чего зависит sample size в A/B-тесте конверсии
В A/B-тесте сравниваем conversion rate control и treatment. От каких компонентов зависит минимальный sample size, чтобы обнаружить статистически значимый эффект?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Sample size растет при большей дисперсии метрики, более строгом alpha, большей required power и меньшем minimum detectable effect; для conversion он также зависит от baseline rate и allocation ratio.
Полный разбор
Для A/B-теста conversion rate минимальный sample size зависит от нескольких вещей. Во-первых, от baseline conversion: variance у Bernoulli metric равна p(1-p), поэтому разные p требуют разных размеров выборки. Во-вторых, от minimum detectable effect: чем меньший lift хотим заметить, тем больше нужен sample.
Еще важны significance level alpha и statistical power 1-beta. Более строгий alpha снижает false positives и увеличивает sample size; более высокая power снижает false negatives и тоже увеличивает sample size. Если allocation между control/treatment не 50/50, общий sample size обычно растет.
В интервью достаточно назвать компоненты и объяснить направление влияния. Формулу можно дать через two-proportion z-test approximation: sample size масштабируется примерно как variance * (z_alpha + z_beta)^2 / MDE^2.
Теория
Power analysis связывает вероятность обнаружить заданный эффект с дисперсией метрики, уровнем значимости, мощностью и дизайном эксперимента.
Типичные ошибки
- Говорить только "зависит от confidence interval" без MDE и power.
- Не учитывать baseline conversion для binary metric.
- Путать alpha и power.
Как отвечать на собеседовании
- Всегда называй MDE: без него "минимальный sample size" не определен.
- Проговори inverse-square: эффект в два раза меньше требует примерно в четыре раза больше samples.