Какие metadata-признаки добавить в reranker дорожных сцен
ANN retrieval вернул top-K дорожных сегментов. Какие metadata и model signals стоит добавить в reranker, чтобы лучше упорядочить результаты?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Reranker использует similarity scores, object counts, perception labels, trajectories, map context, weather/time, scenario tags, freshness, quality flags и user/query history.
Полный разбор
Reranker получает top-K сегментов от ANN и добавляет признаки, которые дорого или неудобно использовать в первом retrieval stage. Базовые признаки - cosine similarity, rank в candidate generator, query metadata и длина сегмента. Дальше идут perception signals: классы объектов, counts, confidence, trajectories, lane changes, braking, occlusion и interactions.
Map и context признаки добавляют смысл: intersection, crosswalk, road type, speed limit, turn type, weather, time of day, location bucket, construction zone. Для качества нужны source flags: свежесть индекса, версия perception, sensor quality, missing metadata и whether segment already reviewed by humans.
Обучить reranker можно на ручной разметке, query logs и pairwise preferences. В выдаче продукту стоит вернуть не только clips, но и причины: совпавшие tags, key frames, confidence и ссылку на исходный segment. Это ускоряет работу инженера, который проверяет найденные сцены.
Теория
Metadata features превращают чистый embedding search в управляемую ranking-систему. В autonomous driving explainability полезна не для красоты, а для быстрой проверки найденных сценариев.