Яндекс ML System Design: object answers и генерация описаний в поиске

Сначала определить source of truth и UX constraints, затем сделать retrieval/knowledge grounding, генерацию, safety/quality filters и offline плюс online evaluation.

Описание в поисковой карточке должно быть коротким, factual и полезным в локальном контексте. Система строится вокруг объекта: entity resolution, источники фактов, language/locale, template или LLM generation, grounding citations/internal evidence, dedup и policy filters. Для MVP можно начать с переводного или extractive baseline, затем перейти к RAG/LLM summarization.

Важные ограничения: freshness, factuality, локализация, длина сниппета, latency и доверие к источникам. В production нужен human review для sample, automatic checks на hallucination/toxicity/PII и fallback на старый сниппет.

Translation проще и стабильнее для MVP, native generation потенциально лучше локализует факты, но требует stronger grounding и оценки factuality.

Перевод существующего описания дешевле, быстрее и наследует проверенную структуру, но может переносить нерелевантные для локального рынка факты, плохо работать с именами и терять freshness. Native generation позволяет выбирать факты под locale/query intent, но повышает риск hallucination и требует retrieval evidence.

Сравнивать стоит на одинаковом наборе объектов: factual correctness, locale usefulness, readability, length compliance, coverage, latency/cost и online CTR/satisfaction guardrails.

Entity retrieval -> trusted evidence ranking -> constrained generation -> factuality checks -> fallback на extractive/template snippet.

RAG path: resolve entity, retrieve trusted documents/knowledge graph facts, score evidence by freshness/authority/locale, generate short answer with constrained prompt/schema, then verify claims against evidence. Для поисковой карточки лучше не давать модели придумывать структуру: ограничить длину, tone, required fields and banned claims.

Quality gates: unsupported claims, contradiction, stale facts, language detection, policy checks, near-duplicate detection. Если evidence слабый, система должна деградировать в extractive snippet или не показывать карточку.

Считать factuality, usefulness, localization, length/style compliance и coverage; LLM judge использовать только после калибровки на human labels.

Offline набор должен покрывать частотные и long-tail объекты, разные языки, ambiguous entities, stale facts и unsafe cases. Ручная оценка: factual correctness, support by evidence, user usefulness, readability, no hallucination, locale fit. Автоматика: claim support checks, length, language, toxicity, duplicate rate, source coverage.

LLM judge полезен для масштабирования, но его нужно откалибровать: agreement с экспертами, bias checks, регулярный audit samples.

Primary: satisfaction/CTR на карточку и downstream success; guardrails: abandonment, reformulations, complaints, latency, unsafe/factual incidents.

В поиске CTR сам по себе двусмыслен: хороший ответ может снижать клики, потому что пользователь получил ответ сразу. Поэтому нужны query success signals: long click, reformulation rate, return-to-SERP, dwell time, direct answer satisfaction, explicit feedback. Для карточки полезны show rate, expand/click interactions, skips и coverage.

Guardrails: latency, page performance, factual complaint rate, policy violations, degradation на сегментах и языках, revenue/ad metrics если карточка влияет на layout.

Проверить coverage токенизатора, representation quality по языкам, доменные сущности, latency и bias в training data.

Для китайского и других языков ошибки часто появляются из-за сегментации, rare entity names, mixed-script queries, transliteration и доменных терминов. Диагностика: token length distribution, unknown/rare fragments, embedding nearest neighbors, retrieval quality by language/locale, entity resolution errors and manual slices.

Если мультиязычная модель слабее на целевом locale, можно дообучать на локальных данных, использовать language-specific adapters, улучшить tokenizer/preprocessing или комбинировать с translation baseline.