Quantile regression и asymmetric loss
Что такое квантильная регрессия и когда полезно предсказывать не среднее, а, например, 90-й квантиль?
Короткий ответ
Quantile regression предсказывает условный квантиль распределения таргета и использует asymmetric pinball loss, чтобы по-разному штрафовать ошибки выше и ниже.
Полный разбор
Обычная регрессия с MSE оценивает условное среднее. Но в задачах риска, сроков доставки, спроса или capacity planning часто важнее не среднее, а гарантийный уровень: например, 90-й квантиль, чтобы покрыть большинство сценариев.
Для этого обучают модель на pinball loss. Для квантили q ошибка недопрогноза и перепрогноза штрафуются асимметрично: модель получает оптимум в q-квантиле условного распределения, а не в среднем.
На интервью можно привести бизнес-пример: если недооценить спрос опаснее, чем переоценить, выбирают высокую квантиль; если перепроизводство дороже, можно выбирать другую квантиль.
Теория
Квантильная регрессия моделирует распределение таргета точечными квантилями и полезна при асимметричной стоимости ошибок.
Типичные ошибки
- Путать quantile regression с quantization модели.
- Считать, что это просто binning таргета.
- Не связывать выбранную квантиль с ценой ошибки.
Как отвечать на собеседовании
- Скажи "pinball loss".
- Объясни через asymmetric business cost.