Что договорить в retrieval до reranker
До добавления reranker нужно закончить candidate retrieval. Какие решения нужны по embedding index, freshness, фильтрам и quality evaluation?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Нужно зафиксировать unit индекса, ANN backend, metadata store, reindex cadence, filter semantics, recall@K на labeled queries и fallback, если индекс устарел или пустой.
Полный разбор
До reranker у системы уже должен быть надежный candidate generator. Команда выбирает, что индексируется: сегмент, событие или несколько windows на поездку. Для каждого элемента хранятся embedding, source clip id, временной интервал, metadata, версия encoder-а и дата индексации.
ANN backend выбирается под масштаб и требования: HNSW/ScaNN/FAISS-подходы, шардирование, compression и metadata filters. Важно заранее определить freshness: как быстро новые поездки попадают в индекс, что происходит при смене версии encoder-а и можно ли смешивать embeddings разных версий.
Quality gate для candidate stage - recall@K на labeled queries и slice recall по редким сценариям. Если нужный segment не попал в top-K, reranker уже не поможет. Поэтому candidate generator отдельно мониторит empty-result rate, index lag, latency и деградацию recall на fixed regression set.
Теория
Reranker улучшает порядок только среди найденных кандидатов. Candidate retrieval отвечает за покрытие релевантных сцен и свежесть индекса.