Метрики удовлетворенности контентом в ленте
Как понять, что пользователям нравится контент в новостной ленте? Какие данные мониторить и какие смещения могут искажать эти метрики?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Смотрите позитивные и негативные сигналы вовлечённости, retention и downstream actions по сегментам. Учитывайте position bias, popularity bias, selection bias, clickbait, cold-start группы и то, что общая метрика может скрывать просадку нишевых сегментов.
Полный разбор
Для ленты нужна не одна метрика, а набор сигналов. Positive engagement: clicks, dwell time, likes, comments, shares, saves, follows, profile visits. Negative signals: hides, skips, quick backs, reports, unfollows, session exits. Для социального продукта могут быть важнее downstream outcomes: новые связи, диалоги, возвращаемость и качество community.
Метрики нужно смотреть в разрезах: новые/старые пользователи, география, язык, игровые интересы, creator size, content type, cold-start users. Глобальная метрика может расти, пока маленькие communities или новые пользователи получают хуже.
Главные искажения: position bias, popularity bias, selection bias от старого ranker-а, survivorship bias, short-term clickbait и неоднозначность dwell time. Поэтому полезны randomized exploration buckets, counterfactual logging, long-term retention, qualitative review и guardrails по negative feedback.
Теория
User satisfaction в ленте скрытая; observed engagement - proxy, который нужно проверять сегментами, guardrails и экспериментами.
Типичные ошибки
- Использовать CTR как единственную метрику.
- Не смотреть negative feedback и long-term retention.
- Оценивать только глобально и пропустить проблемы сегментов.
Как отвечать на собеседовании
- Разделите positive, negative и long-term signals.
- Явно назовите position/popularity/selection bias.