Позиционная информация в Transformer
Почему сам механизм внимания не кодирует порядок токенов и какие абсолютные и относительные позиционные схемы применяются в языковых моделях?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.