Прямой вопросHuawei
Оптимизация конвейера применения LLM
Huawei: Техническое собеседование
К понятиям
LLM inference и serving
Latency и throughput
Системные метрики LLM inference по фазам запроса, очередям и числу одновременных запросов.
TTFTTPOTtokens per secondtail latencythroughput
Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.
Что нужно уметь
- Разложить latency по стадиям
- Найти узкое место и выбрать компромисс с throughput
Как эту тему спрашивают
Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.
Что должно быть в ответе
- Метрики по фазам
- Batching и очереди
- SLO и стоимость
Прямой вопросMirai
Continuous batching в LLM inference
Mirai: LLM inference, RL и distributed training
Прямой вопросSamsung
адаптивная маршрутизация по GPU для LLM serving
Samsung LLM Inference Screening: adaptive GPU routing
Прямой вопросUnimatch
- время ожидания, качество и экономичность LLM-сервиса
Unimatch: агенты, генерация презентаций из текста и LLM в продакшене
Прямой вопросFashion AI startup, не подтверждено
Увеличение размера порции LLM на том же GPU
Fashion AI startup, не подтверждено: Техническое собеседование
Прямой вопросЯндекс
Инференс VLM: задержка, стоимость и резервный сценарий
Yandex VLM final: мультимодальные сценарии, evaluation и serving
Прямой вопросChinor
Оптимизация стоимости вывода для обработки вызовов ASR и LLM
Chinor: ML System Design
Прямой вопросApriori
LLM математические вычисления и квантование памяти для модели 72B
Apriori: Техническое собеседование