Как понять, что ML-фича принесла пользу
Интервьюер спрашивает: какие метрики отслеживали и как понимали, что внедренное ML-решение действительно приносит пользу?
Короткий ответ
Нужно связать offline metrics с product/business metrics: recall/nDCG/precision для модели, CTR/conversion/GMV/acceptance rate для продукта, guardrails по latency, качеству и негативу.
Полный разбор
Хороший ответ начинается с типа задачи. Для рекомендаций offline можно смотреть recall@k, nDCG, hit rate, precision@k. Для классификации — precision/recall/F1/ROC-AUC/PR-AUC. Но это только proxy: они показывают качество модели на данных, а не бизнес-эффект.
Дальше нужны online/product metrics. Для рекомендаций это CTR, conversion, GMV, доля успешных действий, retention, средний чек или другой бизнес target. Для moderation — доля автоматизированных решений, нагрузка на ручную модерацию, false positive/false negative и complaints.
Сильный ответ обязательно добавляет A/B или controlled rollout, guardrails, сегментный анализ и проверку, что offline uplift действительно переносится в online поведение.
Теория
ML impact нельзя доказать одной offline метрикой. Нужно иметь цепочку: offline качество -> product proxy -> бизнес-метрика -> guardrails.
Типичные ошибки
- Говорить только про nDCG или AUC.
- Не назвать бизнес-метрику.
- Не обсудить A/B и guardrails.
Как отвечать на собеседовании
- Разделяй offline, online и business metrics.
- Добавь пример из домена: рекомендации, модерация, поиск или агент.