Поведение обучения/вывода BatchNorm и мульти-GPU статистика
Объясните BatchNorm для тензоров изображений, что меняется при выводе и что необходимо синхронизировать при мульти-GPU обучении.
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.