KV-кеш при генерации LLM
Что такое KV-кеш, как он устраняет повторный расчёт прошлых токенов при авторегрессионной генерации и сколько памяти занимает?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.