MAP/NDCG и связь с бизнес-эффектом
Как считать MAP/NDCG для рекомендаций и почему этих метрик недостаточно без бизнес-связки?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
MAP/NDCG оценивают порядок по размеченной релевантности, но бизнес-эффект зависит от действия: покупка, заявка, retention, revenue и качества трафика.
Полный разбор
MAP усредняет precision на позициях релевантных объектов и хорошо работает при binary relevance. NDCG учитывает позицию и graded relevance: релевантный объект выше получает больший вклад, а идеальная выдача нормализует score.
Эти метрики полезны offline, но не заменяют product validation. Разметка может не отражать прибыль, availability, long-term satisfaction и разнообразие. Поэтому offline ranking metrics связываются с online экспериментом: CTR, conversion, revenue, complaints, latency и coverage. Разрыв между offline и online сигналом - отдельный предмет анализа.