Как выбрать признаки и метрики для модели возврата
После первой модели нужно понять, какие признаки оставить и стала ли модель лучше. Какие offline-метрики и проверки использовать?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Сначала смотрим качество на временной валидации, затем feature importance/SHAP и slice-метрики. Для скидок обычно важны precision при заданном recall или recall при ограниченном FPR, потому что false positive тратит деньги, а false negative теряет пользователя.
Полный разбор
Для такой задачи обычная accuracy часто бесполезна: классы могут быть несбалансированы, а ошибки стоят по-разному. Если скидка дорогая, нужен высокий precision среди тех, кому ее дадим. Если потеря пользователя дороже лишней скидки, можно фиксировать допустимый FPR и максимизировать recall.
Валидация должна быть временной: обучаемся на прошлом, проверяемся на более свежем периоде. После этого можно смотреть permutation importance, встроенную важность бустинга и SHAP, но не как абсолютную истину, а как инструмент отладки. Удалять признаки стоит осторожно: сначала проверить стабильность по периодам и сегментам, потом сравнить метрику до/после.
Дополнительно нужны slice checks: новые/старые пользователи, категории, регионы, промо-сегменты. Модель может выглядеть хорошо в среднем и ломаться на важном бизнес-сегменте.
Теория
Метрика должна отражать цену ошибок. Feature importance помогает чистить модель, но решение принимается по качеству и стабильности.
Типичные ошибки
- Сравнивать модели на случайном split, где будущее перемешано с прошлым.
- Выкидывать признаки только потому, что SHAP маленький на одном запуске.
- Забывать про стоимость false positive при промо-скидках.