ЦПТ, A/B test и MDE
Как связаны центральная предельная теорема, дизайн A/B-теста и MDE?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
ЦПТ позволяет приближать распределение среднего нормальным, A/B test заранее фиксирует статистику и alpha, а MDE задает минимальный эффект при заданной мощности.
Полный разбор
Центральная предельная теорема говорит, что среднее большого числа независимых наблюдений при разумных условиях приближается нормальным распределением. Это обосновывает z/t-подобные тесты для средних и долей в продуктовой аналитике.
В A/B тесте заранее фиксируют primary metric, unit of randomization, alpha, power и MDE. MDE - минимальный эффект, который эксперимент с текущим размером выборки должен обнаружить с заданной мощностью. Без MDE легко получить тест, который формально корректен, но практически ничего не способен увидеть.