Ranking metrics и online guardrails
Как объяснить NDCG/recall и какие online guardrails нужны для ranking model?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Recall проверяет попадание релевантных объектов в top-K, NDCG учитывает позицию и graded relevance. Online нужны product metrics и system guardrails.
Полный разбор
Recall@K показывает, попал ли релевантный объект в shortlist. NDCG@K учитывает порядок: релевантность выше в списке ценнее, а score нормируется на идеальный ranking. Если есть graded labels, NDCG обычно информативнее простого hit rate.
Online guardrails зависят от продукта: latency, RPS, memory, error rate, empty results, complaints, coverage, diversity и slices по новым пользователям/item. Product metrics вроде CTR, conversion, contact requests или revenue нужны отдельно, потому что offline ranking score не гарантирует бизнес-эффект.