MrBit: Техническое собеседование

ЦПТ позволяет приближать распределение среднего нормальным, A/B test заранее фиксирует статистику и alpha, а MDE задает минимальный эффект при заданной мощности.

Центральная предельная теорема говорит, что среднее большого числа независимых наблюдений при разумных условиях приближается нормальным распределением. Это обосновывает z/t-подобные тесты для средних и долей в продуктовой аналитике.

В A/B тесте заранее фиксируют primary metric, unit of randomization, alpha, power и MDE. MDE - минимальный эффект, который эксперимент с текущим размером выборки должен обнаружить с заданной мощностью. Без MDE легко получить тест, который формально корректен, но практически ничего не способен увидеть.

P-value измеряет экстремальность данных при H0, alpha задает правило отвержения, confidence interval показывает диапазон эффектов, совместимых с данными.

P-value считается при предположении, что нулевая гипотеза верна. Если p-value ниже заранее выбранного alpha, H0 отвергается по правилу теста. Это не вероятность истинности H0 и не размер эффекта.

Confidence interval дает диапазон plausible values для эффекта при выбранном уровне доверия. Если 95% CI для difference не содержит 0, это согласуется с two-sided тестом на alpha 0.05. Интервал обычно полезнее одного p-value, потому что показывает неопределенность и практический размер эффекта.

CUPED использует предэкспериментальную ковариату, связанную с метрикой, чтобы уменьшить variance. Также помогают стратификация и корректная unit-level агрегация.

Variance reduction повышает чувствительность теста без изменения продукта. CUPED вычитает из метрики часть, объясняемую ковариатой до эксперимента, например историческим spend пользователя. Ковариата должна быть измерена до treatment и коррелировать с целевой метрикой.

Другие меры: стратифицированная рандомизация, blocking, user-level aggregation, winsorization для тяжелых хвостов и более точная primary metric. Нельзя использовать признаки, на которые мог повлиять treatment, иначе появляется bias.

Bootstrap оценивает распределение статистики через resampling и строит интервалы для сложных метрик. Он не добавляет информации в данные и не снижает реальную variance.

Bootstrap многократно семплирует наблюдения с возвращением из имеющегося датасета и пересчитывает статистику. Так можно оценить стандартную ошибку, confidence interval или распределение сложной метрики, для которой нет простой аналитической формулы.

Он не делает эксперимент более чувствительным сам по себе: данных не становится больше, signal-to-noise не растет. Для variance reduction нужны ковариаты, дизайн эксперимента, стратификация или другая метрика, а bootstrap помогает честнее оценить неопределенность выбранной статистики.

Число орлов имеет Binomial(10, 0.5). Вероятность хотя бы одного орла равна 1 минус вероятность нуля орлов: 1 - (0.5)^10.

При независимых бросках честной монеты число орлов X распределено как Binomial(n=10, p=0.5). Спрашивается P(X >= 1). Проще считать через complement: событие “хотя бы один орел” противоположно событию “орлов нет”.

P(X = 0) = (0.5)^10, потому что все 10 раз выпала решка. Значит P(X >= 1) = 1 - (0.5)^10. Такой прием часто снижает риск ошибок, когда “хотя бы один” имеет много вариантов.

CDF дает P(X <= x), PDF для continuous case является плотностью, параметры распределения подбирают MLE/моментами/KS, Bayes обновляет prior через likelihood.

CDF F(x) показывает вероятность, что случайная величина не превосходит x. Для continuous распределений PDF - производная CDF; вероятность интервала равна интегралу плотности по этому интервалу. Значение PDF в точке не является вероятностью точки.

Параметры распределения подбирают maximum likelihood, методом моментов или проверяют goodness-of-fit тестами и QQ plots. Bayes theorem связывает posterior с prior и likelihood: новые данные переоценивают вероятность гипотезы пропорционально тому, насколько вероятны эти данные при гипотезе.