Зачем нужен KV cache при inference LLM
При autoregressive generation модель генерирует токены по одному. Что такое KV cache и как он ускоряет inference?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.