OLS, MLE и assumptions linear regression
Что такое linear regression, как получить аналитическое OLS-решение, когда оно не существует и при каких assumptions MLE дает тот же оптимум?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
OLS минимизирует squared residuals и дает решение (X^T X)^-1 X^T y, если X^T X обратима. При iid Gaussian zero-mean errors MLE совпадает с OLS.
Полный разбор
Linear regression задает y_hat = Xw + b; обычно intercept включают как столбец единиц в X. OLS выбирает параметры, минимизирующие ||y - Xw||^2. Берем производную и приравниваем к нулю: получаем normal equations X^T X w = X^T y. Если X^T X обратима, то w = (X^T X)^-1 X^T y.
Аналитическое обратное решение недоступно или нестабильно, когда признаки линейно зависимы, X^T X singular или задача ill-conditioned. На практике используют pseudo-inverse, QR/SVD solvers, regularization вроде ridge или iterative optimization.
MLE дает тот же objective, когда residuals независимы, одинаково распределены, имеют Gaussian noise с нулевым средним и постоянной дисперсией, независимой от признаков: y_i = x_i^T w + eps_i, eps_i ~ N(0, sigma^2). Максимизация произведения Gaussian densities эквивалентна минимизации суммы квадратов residuals. Если ошибки heteroscedastic, correlated или non-Gaussian, OLS все еще можно использовать, но MLE objective и uncertainty estimates изменятся.
Теория
OLS - это optimization objective; MLE - вероятностный принцип оценивания. Они совпадают для linear regression при iid Gaussian residual assumptions.
Типичные ошибки
- Говорить, что у linear regression всегда есть inverse solution.
- Игнорировать multicollinearity и singular X^T X.
- Утверждать, что MLE всегда равно OLS без Gaussian residual assumptions.
Как отвечать на собеседовании
- Используй normal equations и сразу упомяни invertibility.
- Для MLE говори "likelihood of residuals under Gaussian noise", а не likelihood of coefficients.