Метрики для рекомендаций в корзине
Какие offline, online и guardrail-метрики подходят для блока рекомендаций в корзине, если клики не равны покупке?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Online primary лучше связывать с add-to-cart, order conversion, AOV/GMV или margin. Guardrails: complaints, repeated category, returns, latency, coverage и diversity.
Полный разбор
CTR полезен как диагностический сигнал, но для корзины он может обманывать. Пользователь может кликнуть на любопытный товар и не купить, либо купить без клика, если товар добавляется прямо из блока. Поэтому primary metric должна быть ближе к бизнес-действию: incremental add-to-cart, order conversion, items per order, AOV, GMV, margin или retention.
Offline можно считать recall@K/nDCG на co-purchase или add-to-cart labels, но важно помнить про bias старых показов и популярность. Нужны slice metrics: новые товары, long-tail, категории, регионы, price bands.
Guardrails: уже добавленные товары, unavailable items, diversity, repeated category rate, complaints/hide, returns/cancellations, latency, empty response rate, fallback share и coverage каталога.
Теория
Метрика должна соответствовать действию поверхности. Для корзины полезность проявляется в заказе и составе корзины, а не только в клике.