Yandex VLM final: мультимодальные сценарии, evaluation и serving

Выбирать сценарии с понятной пользовательской болью, доступными данными и измеримым качеством: image QA, visual search, captions, multimodal query rewriting.

Приоритизация не должна начинаться с модели. Нужно разложить use cases по impact, feasibility, data availability, latency/cost and risk. Хорошие кандидаты: описание изображения для ответа, visual query understanding, генерация alt/caption, извлечение атрибутов, помощь в поисковой формулировке, grounding объектов на картинке.

Для каждого сценария нужны baseline, метрики, evaluation set и fallback. Например, image captioning можно оценивать по usefulness/factuality, а visual search - по retrieval relevance.

Извлечь grounded entities/attributes из картинки, объединить с текстовым intent и сформировать structured query или несколько query variants с confidence.

Пайплайн: image understanding, object/attribute extraction, OCR если нужен, intent parsing из текста, fusion, query generation, validation and fallback. Результат лучше делать структурированным: main entity, attributes, constraints, locale, uncertainty. Потом можно отправить несколько rewritten queries в search stack и rerank results.

Риски: hallucinated attributes, неверная приоритизация текста против изображения, ambiguity, unsafe content. Нужны confidence thresholds и возможность оставить исходный запрос.

Prompting подходит для формата и простых ошибок; fine-tuning - для устойчивого доменного поведения; data-centric работа нужна, если ошибки вызваны coverage/noise в данных.

Нужно начать с error taxonomy. Если модель знает ответ, но не соблюдает формат, помогает prompt/schema/decoding. Если продукт требует доменной терминологии, устойчивого стиля, tool use или локальных паттернов, нужен SFT/adapters. Если ошибки в редких категориях, разметке, negative examples или evaluation leakage, лучший ROI часто дает улучшение датасета.

Fine-tuning имеет стоимость: infra, regressions, eval, release cadence. Prompting дешевле, но может быть хрупким.

Нужна rubric-based оценка: factual objects/attributes, completeness, usefulness for task, safety, no hallucinations; auto-metrics только вспомогательные.

Для product caption важны не BLEU-like совпадения, а grounded correctness. Набор должен покрывать common and rare scenes, text in image, multiple objects, ambiguous categories, sensitive content. Рубрика: objects, attributes, relations, OCR, uncertainty, hallucination, verbosity, language/style and usefulness for target workflow.

LLM/VLM judge можно использовать после калибровки на human labels. Для downstream поиска нужно дополнительно мерить retrieval uplift от captions/features.

Preference optimization нужен, когда есть несколько допустимых ответов и важен product preference: краткость, полезность, refusal/safety, формат и grounding.

Preference data собирается как пары ответов на один image/query: какой лучше и почему. Источники: human annotators, expert review, production feedback, synthetic candidates с hard negatives. Рубрика должна быть явной: factuality важнее красивого стиля; unsupported claim хуже неполного ответа; формат обязателен.

DPO проще в запуске, RLHF сложнее и требует reward model/online safety. Риски: reward hacking, preference bias, деградация rare cases, переоптимизация под judge.

Использовать async/offline enrichment где возможно, cascade small-to-large models, caching, batching, quantization and graceful fallback.

Не каждый VLM use case должен быть online. Для каталога и индекса можно считать captions/attributes offline. Для online запроса нужны latency budgets, model cascade, early exit, GPU batching, caching по image hash, compression/quantization and timeout fallback. Для дорогих сценариев можно включать VLM только по confidence/routing сигналу.

Мониторинг: p50/p95 latency, GPU utilization, cost per request, timeout rate, fallback rate, quality slices and incident metrics.