Связанный контекстToloka AI
Long context в LLM: проблемы и способы решения
Toloka AI: Алгоритмическая секция
К понятиям
LLM inference и serving
Paged attention
Блочное управление KV cache, уменьшающее фрагментацию и упрощающее совместное использование и вытеснение блоков.
PagedAttentionpaged KV cache
Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.
Что нужно уметь
- Объяснить отображение логических блоков в физические
- Связать с числом одновременных запросов и переиспользованием префикса
Как эту тему спрашивают
Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.
Что должно быть в ответе
- Логические и физические блоки
- Фрагментация
- Совместное использование и вытеснение
Связанный контекстFashion AI startup, не подтверждено
Увеличение размера порции LLM на том же GPU
Fashion AI startup, не подтверждено: Техническое собеседование
Связанный контекстHuawei
Кеш ключей и значений при генерации LLM
Huawei: Техническое собеседование
Связанный контекстLLM-роль в Dubai, компания не подтверждена
Обслуживание LLM с открытым исходным кодом на сервере с несколькими GPU
LLM-роль в Dubai, компания не подтверждена: Техническое собеседование