Сложность внимания, GQA, MQA и скользящее окно
Как работает масштабированное скалярное внимание, какова его вычислительная сложность и что меняют GQA, MQA и ограниченное окно внимания?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.