Variance reduction в A/B testing
Какие методы снижения дисперсии применимы в продуктовых экспериментах и где место CUPED?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
CUPED использует предэкспериментальную ковариату, связанную с метрикой, чтобы уменьшить variance. Также помогают стратификация и корректная unit-level агрегация.
Полный разбор
Variance reduction повышает чувствительность теста без изменения продукта. CUPED вычитает из метрики часть, объясняемую ковариатой до эксперимента, например историческим spend пользователя. Ковариата должна быть измерена до treatment и коррелировать с целевой метрикой.
Другие меры: стратифицированная рандомизация, blocking, user-level aggregation, winsorization для тяжелых хвостов и более точная primary metric. Нельзя использовать признаки, на которые мог повлиять treatment, иначе появляется bias.