Метрики recommender в marketplace
Какие метрики использовать для recommender в marketplace, где клики, контакты, сделки и seller exposure имеют разные цели?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Offline: precision/recall/nDCG@K на impression/contact labels и slice coverage. Online: contact, transaction, time-to-sell, buyer satisfaction, seller exposure fairness and revenue.
Полный разбор
Marketplace recommender обслуживает несколько сторон. Для покупателя важны релевантность, доверие, скорость нахождения товара и качество контакта. Для продавца - exposure, справедливое распределение показов и time-to-sell. Для платформы - transactions, revenue, retention and marketplace health.
Offline метрики: precision@K, recall@K, nDCG/MAP, calibration для contact/purchase probability, coverage категорий, diversity и cold-start slices. Labels лучше брать из shown impressions, contacts, favorites, purchases и negative feedback, контролируя position/popularity bias.
Online метрики: CTR только диагностический; ближе к цели contact rate, transaction rate, GMV/revenue, time-to-sell, buyer complaints, seller exposure fairness, hide/report, repeat usage, latency and empty response rate.
Теория
В двухстороннем marketplace одна метрика редко достаточна: улучшение buyer CTR может ухудшить seller fairness или качество сделок.