SGD, momentum, RMSProp и Adam
Как обновляют параметры SGD, momentum, RMSProp и Adam и какую роль играют первая и вторая экспоненциальные оценки в Adam?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.