Рекомендации навыков: почему хорошей offline-метрики недостаточно
Подсказки навыков должны помогать заполнить резюме и улучшать подбор кандидатов. Угадывание следующего выбранного навыка само по себе ещё не доказывает эту пользу. Пётр Чуйков связывает проверку метрик, разнообразие рекомендаций и качество разметки профессий в одном кейсе.
Видео · на русском
Рекомендательные системы: сложности разработки и пути решения | Пётр Чуйков, HeadHunterПётр Чуйков · Опубликовано: 23 декабря 2024 г.
Исходный доклад · Открыть оригинал
У модели две разные бизнес-цели
Первая — облегчить публикацию резюме. Вторая — сделать навыки в базе полезнее для взаимодействия работодателя и соискателя. Поэтому команда отдельно рассматривает масштаб использования и эффективность подбора.
Обычные метрики точности рекомендаций проверяют как возможные приближения к этим целям. Для этого сопоставляют изменения метрик в накопленных A/B-тестах, а не только качество одной модели на отложенной выборке.
03:00 — фрагмент докладаСвязь с бизнесом нужно измерять
В кейсе навыков большинство проверенных ML-метрик плохо предсказывало изменения бизнес-показателей. Разнообразие оказалось полезным исключением. Из этого не следует, что точность всегда бесполезна: Чуйков оговаривает зависимость результата от задачи и данных.
Практическое следствие — нельзя принять новую модель только по росту offline-оценки. Нужна методология продуктовых экспериментов и понимание, какой именно эффект означает успех.
Согласование ML-метрик с бизнес-целями.
Источник: Кадр из докладаКак расширили круг подсказок
Из названия позиции, обязанностей и уже указанных навыков получают признаки. Модели оценивают вероятность выбора каждого навыка, а отдельная модель определяет профессию. У навыков есть категории, у профессий — подходящие наборы категорий.
Финальное смешивание выбирает сильные рекомендации из нескольких категорий. Так выдача перестаёт замыкаться на одном узком наборе, даже если похожие навыки имеют максимальные индивидуальные оценки.
10:00 — фрагмент докладаРазметка профессий влияет на рекомендации
Профессии и их границы приходится согласовывать с реальными данными. В докладе сопоставляются обычная экспертная методология и подход с предварительной кластеризацией: группы похожих объектов дают методологам основу для работы.
Кластеризация может ускорить подготовку разметки, но добавляет зависимость от её собственного качества и требует участия DS-команды. Это компромисс, а не способ автоматически получить правильную таксономию.
Разметка профессий и уточнение рекомендаций.
Источник: Кадр из доклада