A/B-тест и бизнес-метрики видео-ленты
Как проверить, что новая рекомендательная лента работает, и как понять, сколько держать A/B-тест?
Короткий ответ
Primary metric: incremental GMV/profit или attributed purchases; proxy: CTR, переходы к товарам, add-to-cart, watchtime; длительность считать через MDE, variance, traffic и power.
Полный разбор
Нужно задать unit randomization, attribution window и guardrails: latency, retention, order conversion, cannibalization основного заказа. Если GMV долго созревает, прокси-метрики помогают диагностировать, но финальное решение нужно связывать с business metric.
Длительность теста не выбирается как фиксированная неделя. Она зависит от baseline metric, ожидаемого MDE, alpha, power, дисперсии, трафика и сезонности. Минимально полезно покрыть полный недельный цикл.
Теория
A/B duration без расчета мощности повышает риск false positive или false negative, особенно на денежных метриках с высокой дисперсией.
Типичные ошибки
- Смотреть только watchtime.
- Останавливать тест при первом p-value < 0.05.
- Не учитывать cannibalization.
Как отвечать на собеседовании
- Назови primary, proxy и guardrails.
- Про длительность отвечай через power/MDE, а не фиксированное число дней.