Как понять, хороший ли MSE на тесте
Модель получила MSE на тестовом периоде. Как понять, хороший это результат или нет?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
MSE имеет смысл только относительно baseline, масштаба target, variance и бизнес-метрики; маленький MSE не гарантирует полезный trading signal.
Полный разбор
Нужно сравнить MSE с константным прогнозом, last value, линейной моделью и variance target. Без baseline число MSE почти невозможно интерпретировать.
Для trading маленький MSE не гарантирует прибыль: важны направление, ranking, threshold, calibration и proxy-PnL после costs. Также стоит смотреть стабильность по периодам и slice metrics, потому что средняя ошибка может скрывать деградацию на волатильных режимах.