Метрики маркетплейс-поиска
Проектируем ML для поиска на маркетплейсе. Какие бизнес, online и offline метрики выбрать?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Бизнес-метрики: GMV/revenue из поиска, conversion, add-to-cart, paid orders. User-метрики: CTR, zero-result rate, reformulation, time-to-product. Offline: NDCG@K, MRR, Recall@K, query/item coverage и slice quality.
Полный разбор
Для marketplace search нельзя ограничиться одной NDCG. Бизнес хочет деньги и полезный пользовательский опыт: GMV, revenue, purchase conversion, add-to-cart, CTR, доля успешных сессий, time-to-product. Guardrails: latency, zero-result rate, жалобы, возвраты, diversity, seller fairness, share of unavailable items.
Offline нужны judgment или implicit labels: клики, корзина, покупки, ручная разметка по запросам. Метрики: NDCG@K, MRR, Recall@K, Precision@K, coverage по категориям и хвостовым запросам. Обязательно проверять head/tail queries, новые товары, сезонные запросы и географию.
Online A/B должен смотреть не только краткосрочный CTR. Модель может поднять клики на дешевые или популярные товары, но ухудшить покупку, маржу или долгосрочное доверие к поиску.
Теория
Поиск на маркетплейсе - это одновременно качество ранжирования, бизнес-эффект и надежность выдачи.
Типичные ошибки
- Выбрать CTR как единственную primary metric.
- Не измерять zero-result rate и reformulation rate.
- Не разделять head и tail queries при offline-оценке.