Многоголовое внимание как модуль PyTorch
Создайте базовый блок внимания с несколькими головами в PyTorch. Какие тензоры есть у Q, K и V, когда вы разделяете орлы и каких распространенных ошибок в форме следует избегать?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.