Бизнес-метрики и model metrics
Как связать бизнес-метрики продукта с offline-метриками рекомендательной модели?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Offline-метрики проверяют качество ранжирования, а бизнес-метрики проверяют эффект на продукт. Между ними нужна гипотеза: улучшение top-K должно менять конкретное действие пользователя.
Полный разбор
Model metrics могут быть recall@K, nDCG, MAP, calibration, coverage и diversity. Business metrics - conversion, contact request, GMV/revenue, retention, time-to-find и complaint rate. Связка между ними не автоматическая: offline labels должны соответствовать действию, которое создает бизнес-ценность.
Для запуска формулируется гипотеза: например, рост nDCG по релевантным автомобилям увеличит contacts per session без ухудшения latency и diversity. A/B test проверяет бизнес-эффект, а offline metrics остаются быстрым фильтром качества между экспериментами.