Как отделить эффект модели от эффекта тега
Deal of the Day или новая карусель дали uplift. Как проверить, что прирост вызвала модельная релевантность, а не сам UI-тег?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Нужен факторный или staged дизайн: control, UI с baseline/random ranking и UI с ML ranking. Разница ML arm против baseline UI arm оценивает вклад модели.
Полный разбор
Если одновременно добавить тег, карусель и ML ranking, A/B измеряет весь пакет изменений. Uplift может прийти от повышенного внимания к новому UI, дефицитного бейджа или промо-механики, даже если модель выбирает объявления плохо.
Дизайн должен разделять эффекты. Минимум три arms: control без новой surface, UI-only или baseline/random/rules ranking, UI с ML ranking. Тогда UI-only minus control показывает эффект поверхности, а ML minus UI-only показывает добавленную ценность модели. Для большей строгости можно сделать факторный дизайн tag on/off x ranking baseline/ML.
Guardrails marketplace: seller exposure fairness, category diversity, complaints/hides, cannibalization, revenue, contact quality и sample ratio mismatch.
Теория
Confounding возникает, когда treatment объединяет несколько причин. Эксперимент должен варьировать причины отдельно, если нужно атрибутировать эффект модели.