VLM и чат-ассистент поверх поиска недвижимости
Как встроить VLM, поиск по картинкам и чат-ассистента в продукт поиска недвижимости так, чтобы они дополняли основной retrieval/ranking, а не заменяли его?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
VLM лучше использовать в основном offline: извлекать признаки из фото, embeddings, room/view tags и обогащать объявления. Чат-ассистент должен работать поверх retrieval и проверенных фактов объявления, задавать уточнения и собирать подборки, но не выдумывать объекты и не обходить hard constraints ранжирования.
Полный разбор
VLM полезна для понимания фотографий объявлений: тип комнаты, качество фото, вид из окна, наличие мебели или бытовых деталей, image embeddings и признаки, которых нет в структурных полях. Обычно это лучше делать offline-пайплайном обогащения объявлений, потому что online VLM-вызовы дорогие и могут галлюцинировать.
Поиск по картинкам и multimodal retrieval можно использовать как дополнительный candidate source или feature source. Fusion с текстовым поиском и structured filters должен происходить до или внутри ranker, но hard constraints пользователя - гео, цена, тип объекта, доступность - нельзя ломать из-за красивого embedding match.
Чат-ассистент - это UX-слой поверх поиска. Он может принимать запрос, задавать уточняющие вопросы, объяснять trade-offs и собирать shortlist из уже найденных real listings. Для RAG ему нужны retrieval results и verified listing facts, а не свободная генерация объявлений. Метрики: groundedness, фактологическая точность, task success, lead quality, latency и влияние на основные поисковые метрики.
Теория
Генерация не заменяет search ranking: ассистент должен быть grounded in retrieval и product constraints.
Типичные ошибки
- Дать LLM генерировать объявления без grounding.
- Игнорировать галлюцинации про amenities или availability.
- Оценивать чат отдельно от leads, latency и качества поиска.
Как отвечать на собеседовании
- Скажите: VLM enrichment offline, assistant grounded online.
- Назовите groundedness и consistency with listing facts как метрики.