RAG по корпоративной wiki: где теряются хорошие ответы
Документация содержит иерархию страниц, картинки, таблицы и команды. Простое разбиение по длине разрушает связи между ними. Команда готовит осмысленные фрагменты, объединяет несколько способов поиска и проверяет ответы на собственных вопросах.
Видео · на русском
Иван Комаров, Евгений Чуканов | RAG вообще работает?Иван Комаров, Евгений Чуканов · Опубликовано: 17 ноября 2025 г.
Исходный доклад · Открыть оригинал
Источник нужно подготовить до индексации
В Confluence важны не только абзацы: схемы, скриншоты и вложенные страницы также содержат знания. Их переводят в пригодное для поиска представление, сохраняя происхождение. Пользовательский интерфейс построен на Open WebUI.
Разделение на одинаковое число символов может оставить фрагмент без смысла. Авторы стремятся к автономным смысловым частям и добавляют путь страницы, чтобы отличать похожие термины разных команд.
Задача поиска по корпоративной базе знаний.
Источник: Кадр из доклада
Правила разбиения документов.
Источник: Кадр из докладаКонтекст нужен и фрагменту, и вопросу
Фрагмент должен оставаться связанным с документом, иначе верная локальная фраза может дать неверный ответ. Для уточняющего вопроса также используют весь диалог: «кто у них руководитель» без предыдущей реплики непонятно.
Поиск сочетает семантические представления и разреженное текстовое сопоставление. Результаты объединяют по позициям в выдачах, затем фильтруют перед генерацией. В их экспериментах качественную фильтрацию лучше обеспечивала LLM.
14:00 — фрагмент докладаГраф из документов оказался слишком шумным
Команда пробовала готовые графовые подходы и собственное извлечение связей. Полученные графы требовали слишком много исправлений. В качестве более перспективного источника обсуждают проверенные связи между компонентами и командами.
Это вывод о конкретной документации и попытках, а не доказательство бесполезности любого графового поиска. Аналогично большой контекст рассматривается как возможное дополнение, а не уже работающая замена поиску.
Почему графовый подход оказался неудачным.
Источник: Кадр из докладаЧто именно означает качество 90%
Ответы оценивали по простой шкале: непригодный, частично пригодный и хороший. Первичную оценку LLM проверял человек. Основной показатель — доля нулевых ответов на вопросы, для которых ответ есть в документации.
После исправлений данных, поиска и модели эта доля снизилась с 25% до 10%. Поэтому формулировка «90%» не означает 90% идеально правильных ответов. К выступлению шёл пилот в трёх отделах; измеренной экономии человеко-часов авторы не привели.
Собственная разметка для проверки ответов.
Источник: Кадр из доклада