Реальный собесWaymo2026-03-05
Waymo MLSD: поиск дорожных сцен по тексту
ML System Design собеседование про retrieval-систему для автономного вождения: по текстовому запросу находить релевантные сегменты дорожных сцен из последовательностей изображений.
Таймлайн собеседования
Сначала список вопросов и задач по ходу записи. Условие или вопрос можно раскрыть отдельно; решение и разбор спрятаны в отдельной плашке.
00:02:58-00:09:29MLSD кейсconfidence: high
Как сформулировать text-to-scene retrieval задачу
ML System Designretrievalautonomous driving
00:15:44-00:19:24MLSD кейсconfidence: high
Как получить пары текстовый запрос — дорожный сегмент
labelingmultimodal datacontrastive learning
00:19:24-00:27:16MLSD кейсconfidence: high
Как устроить dual encoder retrieval для последовательностей изображений
dual encoderANNtemporal embeddings
00:28:05-00:39:40MLSD кейсconfidence: medium
Как добавить reranker и мониторить деградацию retrieval
rerankingmetadatadrift
Выводы и как готовиться
- Сначала нужно зафиксировать единицу поиска: кадр, короткий клип или дорожный сегмент.
- Retrieval лучше строить двухступенчато: dual encoder/ANN для кандидатов и reranker с метаданными/перцепционными признаками.
- Для CV+NLP системы особенно важны разметка, negative mining, drift embedding-распределений и ручная проверка top-k.