Как получить уверенность модели в предсказании
Модель дает prediction для trading/time-series задачи. Как оценить confidence и использовать его в решении?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Confidence можно брать из calibrated probability, uncertainty estimate или empirical reliability по бинам score; score модели сам по себе не всегда является уверенностью.
Полный разбор
Важно отделить score модели от настоящей уверенности. Для классификации проверяют calibration curve, Brier/log loss, reliability bins и expected calibration error. Для регрессии можно строить prediction intervals, quantile models или ансамбли.
В trading confidence обычно связывают с threshold и размером позиции, но это нужно проверять out-of-time: бины с большим confidence должны иметь лучший realized outcome. Иначе модель может быть уверена только на train distribution.