Градиентный бустинг против Random Forest
Чем gradient boosting отличается от Random Forest и где в бустинге появляется градиент?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Random Forest строит независимые деревья и усредняет их, boosting строит деревья последовательно, исправляя ошибки текущего ансамбля.
Полный разбор
В Random Forest деревья обучаются параллельно на bootstrap samples и случайных подмножествах признаков, поэтому усреднение снижает variance.
В gradient boosting новая модель аппроксимирует антиградиент функции потерь по текущим предсказаниям. Для MSE это похоже на обучение по residuals, для logloss - по градиентам logloss. Boosting часто точнее, но чувствительнее к learning rate, depth, leakage и переобучению.