Основы Transformer: токены, позиционное кодирование и перекрестное внимание
Объясните, из чего состоит Transformer, как токены и позиционная информация входят в модель и откуда в перекрестном внимании декодера берутся векторы запроса/ключ/значение.
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.