Связь business metrics и offline metrics модели
Как перейти от revenue, seller success и buyer value в marketplace к offline-метрикам pricing/recommendation модели?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Offline metric должна быть proxy для конкретного действия: price error, ranking relevance, contact probability или time-to-sell. Ее связывают с online conversion, transactions и guardrails.
Полный разбор
Marketplace business metrics двусторонние: покупатель хочет релевантность и доверие, продавец - просмотры и сделку, платформа - revenue и здоровый рынок. Offline-метрика выбирается после определения действия модели: price suggestion, ranking, carousel, promoted tag или discount score.
Для pricing подойдут MAE/quantile loss относительно fair price, seller acceptance, calibration и buckets low/fair/high. Для recommendations - recall@K/nDCG/precision@K на shown impressions или контакт/сделку, но с учетом position bias. Для discount/action model - calibration response и uplift/off-policy checks.
Offline metric остается proxy. Переход к production требует online primary metric: contact rate, transaction, time-to-sell, revenue/GMV, buyer satisfaction, plus guardrails по seller fairness, complaints, diversity, latency и cannibalization.
Теория
Proxy-метрика полезна только тогда, когда понятно, какое продуктовое действие она приближает и где может расходиться с бизнес-целью.