Чем логистическая регрессия похожа на линейную
Интервьюер спрашивает: если рассматривать логистическую регрессию, чем она похожа на линейную и чем отличается?
Короткий ответ
Обе модели считают линейную комбинацию признаков. Линейная регрессия предсказывает число, а логистическая пропускает linear score через sigmoid и интерпретирует результат как вероятность класса.
Полный разбор
Общая часть — линейный скор: w*x + b. В линейной регрессии этот скор напрямую является прогнозом вещественного target. В логистической регрессии скор проходит через sigmoid, поэтому результат лежит от 0 до 1 и может интерпретироваться как вероятность положительного класса.
Отличается и функция потерь. Для линейной регрессии часто используют MSE, для логистической — log loss / binary cross-entropy. Decision boundary у логистической регрессии при пороге 0.5 все равно линейная в пространстве признаков.
Важно не говорить, что логистическая регрессия — это просто линейная регрессия с округлением. Это классификационная вероятностная модель с другой функцией потерь.
Теория
Логистическая регрессия относится к generalized linear models: линейный predictor плюс link function для вероятности.
Типичные ошибки
- Сказать, что logistic regression предсказывает классы напрямую.
- Забыть про sigmoid и log loss.
- Путать regression в названии с регрессионной задачей.
Как отвечать на собеседовании
- Формула: sigmoid(w*x + b).
- Назови отличие target, output range и loss.