Online-метрики: нашел ли пользователь ответ в статьях
Поиск по статьям можно оценивать offline, но продукту важно, помог ли он пользователю. Какие online-сигналы это показывают?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Сигналы успеха: клик по результату, время до ответа, reformulation rate, возврат к выдаче, scroll/read depth, thumbs up/down, переход в поддержку и explicit solved feedback.
Полный разбор
Online-метрика должна отражать действие пользователя, а не только клик. Клик по первой статье может быть хорошим сигналом, но пользователь мог сразу вернуться и переформулировать запрос. Поэтому полезны цепочки: query -> result click -> чтение -> отсутствие повторного запроса -> explicit feedback.
Для статей хорошо работают time-to-answer, число открытых статей до решения, reformulation rate, zero-result rate, bounce back to search, переход в поддержку, thumbs up/down, save/share и доля запросов, где пользователь отметил, что ответ найден.
Эти сигналы шумные, поэтому их связывают с offline-разметкой. Команда держит golden set запросов для релизов и одновременно смотрит online guardrails: latency, errors, fallback, долю пустой выдачи и жалобы на нерелевантные ответы.
Теория
Online search metrics измеряют поведение пользователя, а не чистую релевантность. Они полезны вместе с offline labels, потому что клики и чтение зависят от интерфейса и позиции результата.