Mirai: LLM inference, RL и distributed training

Research/infra собеседование про continuous batching, exploration в RL, UCB при большом action space, LoRA memory trade-offs, FP16/BF16 и parallelism.

6 вопросов1 чДоступна аудиозапись

Язык вопросовРусский English Оригинал

Пройти собеседование Весь ход интервью

Аудио и материалы

Аудио собеседования

0:00 / 1:00:25

Выводы и как готовиться

Continuous batching надо объяснять через decode scheduler, разные длины запросов и KV cache management.
В RL важно оценивать action-space/horizon до выбора exploration алгоритма.
LoRA и distributed training вопросы проверяют память: optimizer state, activation memory, tensor/pipeline/FSDP trade-offs.

Mirai: LLM inference, RL и distributed training

Аудио и материалы

Аудио собеседования

Continuous batching в LLM inference

Systematic exploration в RL

UCB при большом action space

Зачем LoRA вместо полного fine-tuning

FP16 vs BF16

FSDP vs tensor/pipeline parallelism

Выводы и как готовиться