Расчёт памяти KV-кеша
Почему ключи и значения прошлых токенов можно переиспользовать при пошаговой генерации и от каких множителей зависит объём KV-кеша?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.