Какие бизнес-метрики обсуждать со стейкхолдером marketplace ML задачи
PM приходит с marketplace ML задачей: улучшить цену, рекомендацию или промо-блок объявления. Какие вопросы и метрики нужно обсудить до выбора модели?
Короткий ответ
Нужно выяснить business action, primary metric, guardrails и ограничения: revenue, conversion, transactions, seller success, buyer satisfaction, fairness по категориям, лимиты скидок/промо и UX-риски.
Полный разбор
До модели нужно понять, что именно меняется в продукте. Это price suggestion, deal tag, carousel, ranking или рекомендация? Кто выигрывает: покупатель, продавец, платформа? Marketplace двусторонний, поэтому нельзя смотреть только на CTR.
Метрики: conversion to contact/purchase, transactions, GMV/revenue, time-to-sell, seller retention, buyer satisfaction, complaint rate, hide/report rate, price competitiveness. Guardrails: diversity, fairness по seller/category, cannibalization, слишком агрессивные скидки, latency и доля плохих рекомендаций.
Также нужно обсудить constraints: категории, регионы, доступные данные, бизнес-правила, максимальные скидки, legal/compliance, способ rollout. После этого уже выбирается baseline и модель.
Теория
Marketplace ML требует balance: buyer value, seller value и platform revenue. Метрика одной стороны может ухудшить здоровье рынка.
Типичные ошибки
- Назвать только revenue или CTR.
- Не спросить, какое действие будет делать продукт по score.
- Не учесть seller-side guardrails и marketplace health.
Как отвечать на собеседовании
- Начни с вопроса: где именно будет использоваться модельный output.
- Назови primary metric и 3-4 guardrails.