RAG-ассистент по урокам без спойлеров
Как спроектировать ассистента, который отвечает по текущему уроку, но не раскрывает будущие материалы?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Хранить уроки чанками с metadata: course, lesson, step, past/current/future. Retrieval должен фильтровать контекст по прогрессу студента, а ответ может мягко направлять без раскрытия будущего решения.
Полный разбор
В образовательном ассистенте retrieval должен знать учебный контекст. Каждый chunk получает metadata: курс, модуль, урок, шаг, тип материала, доступность для студента и связь с заданием. При запросе фильтр ограничивает контекст текущим и прошлым материалом, а future chunks либо запрещены, либо используются только как сигнал, что тема будет позже.
Если студент спрашивает про будущую тему, ответ не должен раскрывать полноценный материал или решение. Можно дать короткое направление, связать вопрос с текущим уроком и сказать, что подробности будут дальше. Для vague query вроде "ничего не понял" лучше сначала брать current lesson summary и текущий шаг, а не искать по всему курсу.
Метрики: answer helpfulness, groundedness, spoiler rate, hallucination rate, deflection, latency, cost, доля обращений к человеку и learning outcome. Часть качества можно проверять LLM-as-judge, но критичные сценарии требуют human review.
Теория
RAG для обучения должен учитывать pedagogical state, а не просто искать самые похожие чанки.
Типичные ошибки
- Искать по всему курсу без учета прогресса студента.
- Раскрывать future content и решения задач.
- Не различать vague query и конкретный технический вопрос.