Как говорить про A/B-тесты в RecSys screening
На screening спрашивают, касался ли ты A/B-тестов. Как структурно объяснить роль A/B-теста для рекомендательной системы?
Короткий ответ
A/B нужен, чтобы проверить causal impact модели на продукт: conversion, GMV/AOV, add-to-cart, retention. Параллельно ставим guardrails: latency, ошибки, отмены, негатив, fairness/coverage.
Полный разбор
Хороший ответ: offline-метрики нужны для отбора моделей, но финальное решение по RecSys принимается через online experiment. В A/B фиксируем единицу рандомизации, длительность, основную метрику и guardrails.
Для рекомендаций основная метрика зависит от места в продукте: CTR, add-to-cart, conversion, GMV, AOV, repeat purchase, retention. Guardrails: latency, error rate, empty recommendations, cancellation/refund, complaints, diversity, coverage, доля промо или маржинальных товаров.
Важно помнить про interference: рекомендации могут менять поведение продавцов, остатки, цены и доступность. Для маркетплейса иногда нужен split по пользователям, регионам, магазинам или кластерам, если есть сильное взаимодействие между участниками.
Теория
A/B-тест отвечает не "модель лучше предсказывает", а "изменение системы улучшает продукт при допустимых рисках".
Типичные ошибки
- Ограничиться CTR и не назвать бизнес-метрику.
- Не упомянуть guardrails.
- Считать offline uplift достаточным доказательством.
Как отвечать на собеседовании
- Назови primary metric, guardrails и split unit.
- Отдели offline validation от online experiment.