ML Mentor
К понятиям
Глубокое обучение

Оптимизаторы нейросетей

Правила обновления параметров по градиентам и накопленным оценкам направления и масштаба.

SGDmomentumRMSPropAdamlearning rate

Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.

Начать с вопросаСмотреть все формулировки

Что нужно уметь

  • Сравнить SGD/momentum/RMSProp/Adam
  • Объяснить learning rate, bias correction и weight decay

Как эту тему спрашивают

Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.

Что должно быть в ответе

  • Градиентный шаг
  • Первая и вторая экспоненциальные оценки
  • Learning rate, bias correction и weight decay