Dodo: Скрининг

A/B нужен, чтобы проверить causal impact модели на продукт: conversion, GMV/AOV, add-to-cart, retention. Параллельно ставим guardrails: latency, ошибки, отмены, негатив, fairness/coverage.

Offline-метрики нужны для отбора моделей, но финальное решение по RecSys принимается через online experiment. В A/B фиксируем единицу рандомизации, длительность, основную метрику и guardrails.

Для рекомендаций основная метрика зависит от места в продукте: CTR, add-to-cart, conversion, GMV, AOV, repeat purchase, retention. Guardrails: latency, error rate, empty recommendations, cancellation/refund, complaints, diversity, coverage, доля промо или маржинальных товаров.

Важно помнить про interference: рекомендации могут менять поведение продавцов, остатки, цены и доступность. Для маркетплейса иногда нужен split по пользователям, регионам, магазинам или кластерам, если есть сильное взаимодействие между участниками.

Обычно есть candidate generation, где быстро набираем сотни/тысячи кандидатов, и ranking/reranking, где более дорогая модель сортирует top-K под цель продукта.

Базовый ответ: современная RecSys часто делится на два крупных этапа. Первый - candidate generation. Он должен быстро найти ограниченный набор потенциально релевантных объектов из большого каталога: через популярное, item-item, user-item, two-tower, ANN или бизнесовые правила.

Второй этап - ranking или reranking. Здесь кандидатов уже мало, поэтому можно использовать более богатые признаки: пользователь, товар, контекст, цена, наличие, история, свежесть, промо, diversity. На выходе система выбирает top-K и применяет фильтры/ограничения.

Хорошо добавить, что вокруг этих этапов есть retrieval storage, feature store, online serving, A/B-тесты, мониторинг и fallback. Но сначала важно назвать два главных контура и объяснить, зачем они разделены.

Cold start - ситуация, когда мало истории по пользователю или объекту. Лечится контентными признаками, контекстом, популярным, onboarding-сигналами и controlled exploration.

Cold start для пользователя означает, что у нас нет или мало его истории: кликов, заказов, оценок, долгосрочных интересов. Тогда используем контекст: город, ресторан/магазин, устройство, время, текущая сессия, onboarding-вопросы, популярное в сегменте.

Cold start для item означает, что новый товар еще не получил кликов/покупок, поэтому collaborative signals слабые. Здесь помогают контентные признаки: категория, текст, картинка, цена, бренд, состав, ресторан, маржа, наличие. Также можно дать новому item небольшую controlled exploration квоту, чтобы собрать первые сигналы.

В проде нужен fallback cascade: персональные рекомендации, популярное в сегменте, популярное глобально, curated/business rules. Метрики: доля cold-start traffic, coverage новых items, CTR/conversion по fallback-уровням, негативный feedback.

Pipeline воспроизводимо готовит данные и обучает модель, MLflow хранит эксперименты/артефакты, Feature Store синхронизирует offline и online признаки и помогает с freshness.

Production ML требует повторяемого контура. Pipeline описывает шаги: сбор данных, чистка, расчет признаков, обучение, валидация, публикация артефакта. PySpark часто нужен, если признаки считаются на больших событиях.

MLflow или аналог хранит эксперименты: параметры, метрики, версии датасетов, model artifacts, кто и когда обучил модель. Это помогает сравнивать версии и откатываться.

Feature Store решает проблему признаков: единое место, где считаются и версионируются признаки для обучения и serving. Особенно важно не получить training-serving skew, когда offline модель обучалась на одних признаках, а online получает другие или устаревшие.