Полная программа
Подробная программа теперь отображается как роадмап: проходите темы по этапам, открывайте материалы и отмечайте прогресс.
NLP и LLM
От токенизации до LLM-агентов: обработка текста, трансформеры, большие языковые модели и production NLP-системы.
Прогресс
0 из 30 тем📝 Основы NLP
0/4Введение в NLP
Задачи NLP, токенизация, предобработка текста, стемминг и лемматизация.
Представление текста
Bag of Words, TF-IDF, n-граммы — как превратить текст в числа.
Векторные представления слов
Word2Vec, GloVe, FastText — как слова становятся векторами.
Классификация текста
Naive Bayes, логистическая регрессия, CNN для текста — практические задачи.
🧠 Нейросетевые модели
0/3Языковые модели
N-грамм LM, нейросетевые LM, перплексия, стратегии генерации.
Seq2Seq и Attention
Encoder-decoder, механизм внимания, beam search, BPE-токенизация.
⚡ Transformer и предобученные модели
0/3Transformer
Self-attention, multi-head attention, positional encoding — архитектура, изменившая NLP.
GPT и авторегрессионные модели
GPT-1/2/3/4, scaling laws, emergent abilities, in-context learning.
🔥 Большие языковые модели
0/4Основы LLM
Как устроены LLM изнутри: decoder-only архитектура, KV-cache для быстрого инференса, квантизация (GGUF, GPTQ, AWQ) для запуска на consumer GPU. Фокус на практике: запустить, оценить, выбрать модель.
Промпт-инжиниринг
Zero/few-shot, chain-of-thought, structured output, system prompts.
Оценка LLM
Бенчмарки, human eval, MMLU/HumanEval, оценка галлюцинаций, red-teaming.
🏗️ Обучение LLM — основы
0/4Training Pipeline
Как обучают LLM: pre-training → mid-training → SFT → RLHF. Общая картина процесса.
SFT и дообучение
Supervised Fine-Tuning: chat templates, instruction datasets, sequence packing, distillation.
RLHF и DPO
Alignment через RLHF, DPO, RLVR. Как модель учится быть полезной и безопасной.
Scaling Laws и токенизация
Chinchilla, overtraining, BPE, vocab size trade-offs, LR schedules.
⚡ Frontier LLM Training
0/7Современные архитектуры LLM
GQA/MLA, SwiGLU, gated attention, embedding sharing, RMSNorm — как устроены frontier модели.
Mixture of Experts (MoE)
Sparse-модели: routing, load balancing, shared experts. DeepSeek-V3, Kimi K2.
Позиционные кодирования и длинный контекст
RoPE, YaRN, RNoPE, document masking. Как модели масштабируются от 4K до 128K+ токенов.
Стабильность обучения и оптимизаторы
Logit softcapping, z-loss, AdamW, Muon, MuonClip, LR schedules, batch size scaling.
Продвинутый post-training
GRPO, RLVR, KTO/ORPO/APO, on-policy distillation, DeepSeek-R1 pipeline.
Data Curation и Multi-stage Training
Data mixtures, ablation, synthetic data, multi-stage обучение. SmolLM3, Hermes 4, Kimi K2.
Distributed Training (Multi-GPU)
Data Parallelism, ZeRO, FSDP, Tensor/Pipeline Parallelism, 3D Parallelism. Как обучают модели на сотнях GPU.
🚀 Агенты и продакшн
0/5RAG
Retrieval-Augmented Generation: чанкинг, эмбеддинги, реранкинг, гибридный поиск.
Векторные БД
FAISS, Qdrant, Weaviate, Milvus — индексы HNSW/IVF, выбор под задачу.
Оценка RAG-систем (RAGAS)
Метрики качества RAG: faithfulness, context precision/recall, answer relevancy. Фреймворк RAGAS для автоматической оценки.
LLM-агенты
ReAct, function calling, LangChain/LlamaIndex/CrewAI, оркестрация, memory.
NLP System Design
Проектирование production NLP-систем: чат-бот, поиск, модерация.