К Roadmap
Distributed training
FSDP, DeepSpeed ZeRO и sharding
Почему состояния оптимизатора занимают так много памяти, как FSDP и ZeRO делят параметры, градиенты и optimizer state и когда sharding оправдывает сложность.
Полный доступ
Открыть Roadmap «Продвинутая ML-инженерия»
Все опубликованные темы Roadmap
Объяснения, формулы и примеры в подготовленных главах
Практика в главах, где она уже подготовлена
Будущие обновления без доплаты
Отдельная покупка остаётся в аккаунте навсегда и включает будущие обновления.