Scaled Dot-Product Attention

Реализуйте механизм Scaled Dot-Product Attention — ключевой компонент архитектуры Transformer.

Формула

Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V

где:
- Q (Query) — матрица запросов, shape (n, d_k)
- K (Key) — матрица ключей, shape (n, d_k)
- V (Value) — матрица значений, shape (n, d_v)
- d_k — размерность ключей (используется для масштабирования)

Softmax

Softmax применяется построчно (axis=-1). Для численной стабильности используйте:

softmax(x) = exp(x - max(x)) / sum(exp(x - max(x)))

Формат ввода

Строка 1: n d_k d_v — размеры матриц
Строка 2: Q в flatten-формате (n × d_k чисел через пробел)
Строка 3: K в flatten-формате (n × d_k чисел)
Строка 4: V в flatten-формате (n × d_v чисел)

Формат вывода

Результат в flatten-формате (n × d_v чисел), каждое округлено до 3 знаков после запятой.

Пример

Ввод:

1 1 1
2.0
3.0
5.0

Вывод: 5.000

Единственный токен → softmax([[score]]) = [[1.0]] → результат = V.