Тематический маршрут

LLM: архитектура, inference и RAG

Какие интервью пройти отдельно по устройству LLM, инференсу и RAG-системам?

Три взаимодополняющих собеседования: архитектура и обучение, high-load inference, затем retrieval и RAG System Design.

3 реальных собеседования25 вопросов6 подтем

Маршрут из трёх собеседований

Проходите по порядку: база → глубина → применение.

Начать отсюдамарт 2026 г.

Собирает основу темы и задаёт правильную структуру ответа.

Sber / GigaChat: LLM подробный разбор, inference и distributed training

Sber / GigaChat

Системный технический обзор Transformer: BERT/GPT, BPE, RoPE, attention, memory и DDP.

Senior Аудио · 67 мин 10 ключевых этапов 10 шагов практики

После прохождения

Собрать цельную картину архитектуры и обучения LLM
Объяснять вычислительные bottlenecks Transformer

АрхитектураТокены и embeddingsОбучениеInference

Пройти собеседование Открыть историю

Углубитьсямай 2026 г.

Добавляет сложные follow-up и проверяет глубину понимания.

Huawei: Техническое собеседование

Huawei

Одно из самых содержательных интервью по современному LLM inference и оптимизациям.

Senior Аудио · 76 мин 9 ключевых этапов 13 шагов практики

После прохождения

Разобрать serving pipeline по стадиям
Оценивать память KV cache и компромиссы decoding

АрхитектураInferenceEvaluation и production

Пройти собеседование Открыть историю

Закрепить на практикемарт 2026 г.

Переводит знания в coding или законченный прикладной кейс.

AgeCode: ML System Design

AgeCode

Законченный RAG/search-кейс: BM25 baseline, NDCG, hybrid retrieval, reranker и online signals.

Middle / Senior Аудио · 48 мин 7 ключевых этапов 9 шагов практики

После прохождения

Спроектировать retrieval до добавления LLM
Выбрать offline и online-метрики поиска

Retrieval и RAGEvaluation и production

Пройти собеседование Открыть историю

Что покрывает каждое интервью

Матрица построена по конкретным вопросам и этапам, а не по совпадению слов в заголовке.

Подтема	Начать отсюда	Углубиться	Закрепить на практике
АрхитектураTransformer, attention, position encodings и MoE.	Глубоко	Глубоко	—
Токены и embeddingsBPE, sentence embeddings и representation learning.	Глубоко	—	—
ОбучениеLoss, память, long context и distributed training.	Глубоко	—	—
InferencePrefill/decode, KV cache, batching и decoding.	Рабочее понимание	Глубоко	—
Retrieval и RAGBM25, hybrid retrieval, reranking и генерация.	—	—	Глубоко
Evaluation и productionOffline/online-метрики, latency и monitoring.	—	Рабочее понимание	Глубоко

Отдельная практика по теме

Откройте ключевой вопрос или задачу отдельно, если не готовы проходить интервью целиком.

Ключевые вопросы маршрута

BERT vs GPT: в чем архитектурная разница Как обучать sentence embeddings Сколько forward-pass нужно GPT на train batch Почему у BPE-токенизатора почти нет unknown tokens RoPE и positional embeddings в GPT Attention complexity, GQA/MQA и Sliding Window Attention Зачем нужен KV cache при inference LLM Long-context training: почему не помещается attention На что уходит GPU memory при training LLM DDP и all-reduce overlap при distributed training

На страницах собеседований есть ещё 15 связанных вопросов.

Задачи из этих интервью

Оценка памяти KV cacheML-задачи · Средний

Повторить теорию перед практикой

TransformerNLP и LLM Основы LLMNLP и LLM Дообучение LLMNLP и LLM Distributed Training (Multi-GPU)NLP и LLM RAGNLP и LLM Оценка RAG-систем (RAGAS)NLP и LLM NLP System DesignNLP и LLM LLM serving: KV-cache и батчингAdvanced ML Engineering

Выбрать другую тему Все собеседования