От фильтра к отдельной системе рекомендаций незнакомой музыки
После удаления знакомого контента иногда почти не остаётся кандидатов. Общая модель также слишком осторожно предлагает новое. Поздний доклад Саввы Степурина дополняет историю согласованием лёгкого и тяжёлого ранжировщиков.
Видео · на русском
Как улучшить знакомые подходы для рекомендации незнакомого | Савва Степурин, Яндекс МузыкаСавва Степурин · Опубликовано: 19 декабря 2024 г.
Исходный доклад · Открыть оригинал
Незнакомое должно быть и новым, и подходящим
Для режима проверяют, что трек ещё не слушали, а артист и альбом не слишком знакомы. Иначе новая композиция любимого исполнителя формально проходит фильтр, но не расширяет музыкальный опыт.
Отдельно измеряют разнообразие, лайк при первом прослушивании и возвращение на следующий день. Один рост числа неизвестных треков не доказывает, что рекомендации стали полезнее.
02:00 — фрагмент докладаПохожие артисты расширяют выбор
На каждый запрос выбирают случайные лайки пользователя, переходят к их артистам и находят похожих незнакомых исполнителей. Затем берут подходящие популярные треки этих артистов.
Источники похожести могут различаться: совместное прослушивание, представления треков и внешние знания. Объединение источников расширяет круг кандидатов. Главное отличие от финального фильтра — новизна заложена уже в способ их получения.
11:00 — фрагмент докладаЛёгкую модель согласовали с тяжёлой
Тяжёлый CatBoost обучают на парах положительных и отрицательных реакций с весами событий. Для режима используют общую историю, усиливая вклад его примеров и лайков.
Но до тяжёлой модели доходит только часть кандидатов. Поэтому лёгкий ранжировщик отдельно дистиллируют под специализированную тяжёлую модель. Иначе ранний этап мог бы удалить именно те треки, которые поздний оценил бы высоко.
Функция потерь и метрики качества из доклада.
Источник: Кадр из докладаРезультаты экспериментов нельзя просто складывать
Изменения принимали последовательно. На итоговом слайде эффекты накапливаются, поэтому относительные проценты сочетаются умножением, а не арифметической суммой. Приросты относятся к «Незнакомому»; по всей «Моей волне» значимого изменения не было.
Новый источник также устранил случаи почти пустого набора кандидатов. Этот локальный эффект обнаруживали отдельными проверками, даже когда некоторые общие метрики A/B не менялись значимо.
Результаты обучения отдельной модели.
Источник: Кадр из доклада