Метрики музыкальных рекомендаций
Какие метрики смотреть для рекомендательной системы треков?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Offline: Recall@K, NDCG@K, HitRate, coverage/diversity по артистам и жанрам. Online: play-through rate, skip rate, likes, saves, listening time, session length, retention и guardrails по повторам/усталости.
Полный разбор
Offline можно предсказывать held-out listens/likes/skips: Recall@K и HitRate показывают, попал ли нужный трек в рекомендации, NDCG учитывает позицию, coverage и diversity показывают, не схлопнулась ли выдача в популярные треки. Для музыки важны срезы по новым трекам, новым пользователям, жанрам и артистам.
Online-метрики должны отражать пользовательский опыт: доля дослушиваний, skip rate в первые секунды, likes, saves, добавления в плейлист, listening time, session length, возвраты в продукт. Guardrails: повторяемость, слишком узкая выдача, доля explicit/неподходящего контента, latency.
Нельзя смотреть только short-term clicks/plays: модель может начать крутить знакомые хиты, поднять первые прослушивания и ухудшить discovery или долгосрочное удержание.
Теория
В музыкальных рекомендациях качество - это не только попадание в прошлый listen, но и свежесть, разнообразие и отсутствие быстрых skip.
Типичные ошибки
- Оптимизировать только play count.
- Не измерять diversity и повторяемость.
- Не разделять метрики для новых и активных пользователей.