Прямой вопросHuawei
Кеш ключей и значений при генерации LLM
Huawei: Техническое собеседование
К понятиям
LLM inference и serving
KV cache
Хранение K/V прошлых токенов, чтобы на каждом шаге decode не пересчитывать префикс.
KV-cacheKV-кешkey-value cache
Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.
Что нужно уметь
- Объяснить механизм KV cache
- Оценить память по конфигурации модели и профилю нагрузки
Как эту тему спрашивают
Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.
Что должно быть в ответе
- Почему прошлые K/V неизменны
- Добавление нового токена
- Вычисления против памяти
Прямой вопросFlameTree
Авторегрессионная генерация и кеш ключей и значений
FlameTree Technical: Agents, NLP, LLM и Python backend
Прямой вопросСбер
KV-кеш при генерации LLM
Sber / GigaChat: LLM подробный разбор, inference и distributed training
Прямой вопросHuawei
Первичная обработка входа и пошаговая генерация
Huawei: Техническое собеседование
Прямой вопросToloka AI
Long context в LLM: проблемы и способы решения
Toloka AI: Алгоритмическая секция
Что должно быть в ответе
- Формула размера
- MHA/MQA/GQA
- Ограничение размера batch
Прямой вопросHuawei
Расчёт памяти KV-кеша
Huawei: Техническое собеседование
Прямой вопросHuawei
MHA, MQA, GQA и MLA
Huawei: Техническое собеседование
Прямой вопросSamsung
адаптивная маршрутизация по GPU для LLM serving
Samsung LLM Inference Screening: adaptive GPU routing
Прямой вопросFashion AI startup, не подтверждено
Увеличение размера порции LLM на том же GPU
Fashion AI startup, не подтверждено: Техническое собеседование
Прямой вопросApriori
LLM математические вычисления и квантование памяти для модели 72B
Apriori: Техническое собеседование