Sber / GigaChat: LLM подробный разбор, inference и distributed training

Плотное теоретическое интервью по LLM: BERT vs GPT, sentence embeddings, tokenization, positional embeddings, attention, GQA/SWA, KV cache, long context и DDP all-reduce.

10 вопросов1 ч 7 минДоступна аудиозапись

Язык вопросовРусский English Оригинал

Пройти собеседование Весь ход интервью

Аудио и материалы

Аудио собеседования

0:00 / 1:06:54

Выводы и как готовиться

LLM theory interviews often move quickly across architecture, training and inference systems.
Good answers connect formulas to cost: sequence length, KV cache memory, attention complexity and distributed communication.
поиск embeddings should be evaluated with поиск metrics, not generic classification accuracy.

Sber / GigaChat: LLM подробный разбор, inference и distributed training

Аудио и материалы

Аудио собеседования

Архитектурная разница между BERT и GPT

Обучение эмбеддингов предложений

Сколько прямых проходов нужно GPT для одного обучающего батча

Почему подсловному токенизатору редко нужен неизвестный токен

RoPE и позиционные представления в GPT

Сложность внимания, GQA, MQA и скользящее окно

KV-кеш при генерации LLM

Почему обучение на очень длинном контексте не помещается в GPU

Из чего складывается память при обучении LLM

DDP и перекрытие обмена градиентами с обратным проходом

Выводы и как готовиться