Прямой вопросWildberries
Архитектура Transformer и механизм внимания
Wildberries RecSys Technical: money recall, DSSM и content features
К понятиям
LLM inference и serving
Transformer и attention
Архитектурная база современных LLM и вычислительные свойства attention.
Transformerself-attentionMHAGQAMQARoPE
Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.
Что нужно уметь
- Объяснить блок Transformer
- Сравнить attention-варианты и позиционные представления
Как эту тему спрашивают
Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.
Что должно быть в ответе
- Токены и позиции
- Q/K/V и attention
- FFN, residual-связи и нормализация
Прямой вопросT1
Базовая архитектура Transformer
Agents/NLP technical screen: Python, ML basics и поиск
Прямой вопросСбер
BERT: encoder, pretraining и attention
Sber: Text2SQL, NLP и LLM critic
Прямой вопросСбер
Архитектурная разница между BERT и GPT
Sber / GigaChat: LLM подробный разбор, inference и distributed training
Прямой вопросCIAN
Основы Transformer: токены, позиционное кодирование и перекрестное внимание
CIAN: Техническое собеседование
Прямой вопросТочка
Энкодер-декодер Transformer от токенов до перекрёстного внимания
Tochka: Техническое собеседование
Прямой вопросOzon
Как работает self-attention в трансформере
Ozon: RecSys-собеседование про распределенное обучение, трансформеры и ранжирование
Прямой вопросFashion AI startup, не подтверждено
BERT против GPT и Transformer
Fashion AI startup, не подтверждено: Техническое собеседование
Что должно быть в ответе
- Квадратичная сложность
- Число KV-голов
- Качество, память и скорость
Прямой вопросHuawei
MHA, MQA, GQA и MLA
Huawei: Техническое собеседование
Прямой вопросСбер
Сложность внимания, GQA, MQA и скользящее окно
Sber / GigaChat: LLM подробный разбор, inference и distributed training
Прямой вопросWaymo
Сложность внимания, GQA, MQA и скользящее окно
Waymo: Техническое собеседование
Прямой вопросDiagnocat
Многоголовое внимание как модуль PyTorch
Diagnocat: Техническое собеседование
Прямой вопросOzon
Как работает self-attention в трансформере
Ozon: RecSys-собеседование про распределенное обучение, трансформеры и ранжирование
Прямой вопросToloka AI
Long context в LLM: проблемы и способы решения
Toloka AI: Алгоритмическая секция
Прямой вопросHuawei
Идея FlashAttention
Huawei: Техническое собеседование
Что должно быть в ответе
- Почему attention не знает порядок
- RoPE
- Длина контекста
Прямой вопросHuawei
Позиционная информация в Transformer
Huawei: Техническое собеседование
Прямой вопросСбер
RoPE и позиционные представления в GPT
Sber / GigaChat: LLM подробный разбор, inference и distributed training
Прямой вопросinDrive
Attention, позиционные эмбеддинги, BPE и LoRA
inDrive: Техническое собеседование