RoPE и positional embeddings в GPT

Какие бывают positional embeddings в Transformer и как работает RoPE?

Ответьте как на собеседовании

Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.

Загрузка