Метрики для recommendation-системы
Какие offline и online метрики считать для recommendation-системы с визуальными и текстовыми признаками?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Offline: recall@k, nDCG/MAP, coverage и diversity. Online: CTR, add-to-cart/order, revenue, retention, complaint rate, latency и доля fallback.
Полный разбор
Offline-метрики зависят от задачи: для retrieval важен recall@k, для ранжирования - nDCG/MAP/MRR, для каталога - coverage, diversity и cold-start slices. В мультимодальном сценарии отдельно проверяются текстовые, визуальные и смешанные запросы.
Online-метрики должны отражать продукт: CTR, add-to-cart, conversion, GMV/revenue, time-to-find, repeat usage. Guardrails: latency, error rate, жалобы, нерелевантные категории, деградация на новых товарах и доля fallback. Offline рост без online эффекта обычно означает, что proxy labels плохо отражают пользовательскую пользу.