Attention, позиционные эмбеддинги, BPE и LoRA
Объясните scaled dot-product attention, зачем трансформеру нужны позиционные эмбеддинги, как работает BPE-токенизация и в чем идея LoRA при дообучении.
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.