Авторегрессионная генерация и кеш ключей и значений
Как модель генерирует текст токен за токеном и какую работу экономит кеш ключей и значений внимания?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.