Какие target и метрики выбрать для ранжирования поставщиков
В истории заявок можно использовать winner label, bid/no-bid, ручное удаление поставщика и другие события. Какие labels и метрики выбрать для candidate generator и ranker?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Для retrieval важен recall@K по поставщикам, которые могли дать полезный ответ; для ranker лучше использовать graded labels из bid, no-bid, delete/add и winner, а не только binary winner.
Полный разбор
Winner label полезен, но слишком узкий. Поставщик мог быть релевантным, сделать bid и проиграть по цене или срокам. Заказчик мог удалить поставщика до приглашения, что является сильным негативным feedback. No-bid и ignore тоже разные сигналы: no-bid может значить нерелевантность или временную недоступность, ignore может быть проблемой attention.
Для candidate generation главная offline-метрика - recall@K по множеству потенциально релевантных поставщиков: поставщики с bid, вручную добавленные поставщики, historical winners в похожих заявках, поставщики, которых заказчик не удалил. Precision на retrieval stage вторична, если ranker справляется.
Для ranker можно использовать graded relevance: winner > bid responder > not deleted/invited > shown only; удаление заказчиком и explicit no-bid ниже. Метрики: NDCG@K или MAP/MRR, если есть graded/order labels; hit rate winner/bid@K; delete rate; manual add rate; online - time-to-submit, bid rate, успешная закупка, customer satisfaction и retention.
Теория
В recommender systems label design часто важнее модели. Downstream winner может быть biased и sparse, поэтому полезно строить multi-signal relevance и отдельно оценивать retrieval recall.
Типичные ошибки
- Обучаться только на winner=1, all others=0.
- Называть NDCG, но не объяснить, откуда берется порядок релевантности.
- Смешать offline ranking metrics и business metrics.
Как отвечать на собеседовании
- Скажи, что losing bid не равен hard negative.
- Для retrieval сначала говори recall@K, для ranker - graded relevance/NDCG.