Satel Generation: RAG, evaluation и production ownership

Технический подробный разбор по RAG-пайплайну: архитектура embeddings/поиск, оценка качества, self-hosted LLM и опыт доведения ML-проектов до production.

Пройти собеседование Разбор технического собеседования

Аудио и материалы

Аудио собеседования

0:00 / 41:45

Выводы и как готовиться

RAG нужно разбирать на отдельные контуры: ingestion, chunking, поиск, reranking, context assembly и generation.
Оценку качества стоит делить на поиск-метрики, generation-метрики и production/product signals.
Для production-вопросов нужен короткий ownership story: роль, rollout, мониторинг, impact и ограничения.

Satel Generation: RAG, evaluation и production ownership

Аудио и материалы

Аудио собеседования

Какая архитектура эмбеддингов была в RAG

Как нарезать юридические документы на чанки

Как выбрать чанки для контекста после retrieval

Как оценивать качество RAG-системы

Как развернуть RAG: FastAPI, Qdrant, ranker и vLLM

Production-readiness ML-системы

Как устроить BERT-based moderation inference service

Как собрать данные и классы для модели модерации

Какие offline и online метрики у moderation-модели

Выводы и как готовиться