Online metrics для генерируемых карточек в поиске
Какие online-метрики выбрать для A/B теста карточки с генерируемым описанием и какие guardrails поставить?
Короткий ответ
Primary: satisfaction/CTR на карточку и downstream success; guardrails: abandonment, reformulations, complaints, latency, unsafe/factual incidents.
Полный разбор
В поиске CTR сам по себе двусмыслен: хороший ответ может снижать клики, потому что пользователь получил ответ сразу. Поэтому нужны query success signals: long click, reformulation rate, return-to-SERP, dwell time, direct answer satisfaction, explicit feedback. Для карточки полезны show rate, expand/click interactions, skips и coverage.
Guardrails: latency, page performance, factual complaint rate, policy violations, degradation на сегментах и языках, revenue/ad metrics если карточка влияет на layout.
Теория
Онлайн-метрика должна отражать удовлетворение пользователя, а не только кликабельность блока.
Типичные ошибки
- Оптимизировать CTR карточки как единственную цель.
- Не смотреть реформулировки запроса.
- Не иметь safety guardrails.
Как отвечать на собеседовании
- Сразу проговори, что answer card может уменьшить клики и это не всегда плохо.