Attention complexity, GQA/MQA и Sliding Window Attention
Объясните scaled dot-product attention, его сложность, и зачем нужны GQA/MQA и Sliding Window Attention.
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.