ML Mentor
К реальным собесам
Реальный собесWaymo2026-03-05

Waymo ML Coding: self-attention на NumPy

ML coding секция про реализацию self-attention: Q/K/V projections, scaled dot-product attention, stable softmax, проверка shape и follow-up про multi-head attention.

Таймлайн собеседования

Компактный список вопросов и задач по ходу записи: раскрывайте только нужные детали.

00:03:57-00:05:28Код

Постановка: single-head self-attention на NumPy

00:05:37-00:14:35Код

Q/K/V projections и scaled dot-product attention

00:14:37-00:20:25Код

Stable softmax, output projection и shape-check тест

00:20:28-00:25:16Вопрос

Time and space complexity self-attention

00:25:20-00:39:50Код

Follow-up: multi-head attention

00:39:55-00:42:58Вопрос

Вопросы кандидата про ML infrastructure и simulation

Выводы и как готовиться

  • На собеседовании важно явно проговорить shapes Q, K, V и итогового output.
  • Stable softmax обязателен даже в учебной реализации attention.
  • Multi-head attention лучше объяснять как reshape/split heads плюс финальная projection, а не как полностью отдельный алгоритм.