A/B metrics и guardrails для доставки
Какие offline, online и guardrail-метрики выбрать для A/B-теста динамической стоимости доставки?
Короткий ответ
Primary metric может быть profit/margin per user or order; guardrails - conversion, GMV, cancellation, delivery SLA, complaints и fairness по зонам.
Полный разбор
Offline перед запуском: calibration response-модели, sanity по сегментам, coverage, share fallback, drift фичей, backtest на exploration/control данных. Online primary metric зависит от бизнес-цели: contribution margin, profit per eligible user, order rate или expected GMV with margin.
Guardrails нужны обязательно: конверсия, средний чек, cancellation/refund, delivery time/SLA, complaint rate, доля пользователей с ростом цены, повторные заказы, нагрузка курьеров и негатив по конкретным городам/зонам.
Также полезны operational metrics: latency, missing features, quote stability, доля OOD и частота fallback.
Теория
Pricing A/B почти всегда multi-objective: рост прибыли без контроля конверсии и доверия может быть плохим продуктовым результатом.
Типичные ошибки
- Мерить только revenue.
- Не учитывать delivery SLA и complaints.
- Не проверять сегменты, где цена выросла сильнее.
Как отвечать на собеседовании
- Раздели primary metric и guardrails.
- Добавь operational metrics модели.