Прямой вопросMirai
Continuous batching в LLM inference
Mirai: LLM inference, RL и distributed training
К понятиям
LLM inference и serving
Continuous batching
Динамическое планирование активных последовательностей на каждом шаге decode.
iteration-level batchingнепрерывный batching
Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.
Что нужно уметь
- Объяснить отличие от static batching
- Разобрать равноправие запросов, очереди и загрузку GPU
Как эту тему спрашивают
Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.
Что должно быть в ответе
- Добавление и удаление последовательностей
- Загрузка GPU
- Равноправие запросов и latency
Прямой вопросHuawei
Оптимизация конвейера применения LLM
Huawei: Техническое собеседование
Прямой вопросFashion AI startup, не подтверждено
Увеличение размера порции LLM на том же GPU
Fashion AI startup, не подтверждено: Техническое собеседование
ПрименениеChinor
Оптимизация стоимости вывода для обработки вызовов ASR и LLM
Chinor: ML System Design
ПрименениеLLM-роль в Dubai, компания не подтверждена
Обслуживание LLM с открытым исходным кодом на сервере с несколькими GPU
LLM-роль в Dubai, компания не подтверждена: Техническое собеседование