Кеш ключей и значений при генерации LLM
Что хранит KV-кеш языковой модели, почему он ускоряет генерацию и какие ограничения создаёт при обслуживании множества запросов?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.