Продуктовые ML-кейсы

Решение принимается до показа окончательных условий пользователю. Система получает корзину, адрес, состояние точки, доступность курьеров и историю пользователя, формирует допустимую сетку стоимости или порогов и больше не ухудшает показанное предложение без понятной причины.

Для первой версии достаточно сегментных правил или модели отклика на несколько вариантов. Она прогнозирует оформление, чек, маржу и операционные исходы, а отдельный оптимизатор выбирает вариант с учётом ограничений. Это проще проверять, чем модель, сразу выдающая необъяснимую цену.

Нужны журнал каждого решения, резервная стратегия, контроль свежести признаков, p95/p99 задержки и A/B-тест. Границы системы явно исключают расписание курьеров и другие решения, которыми ценовая модель не управляет.

Нужно проследить путь от открытия меню и сборки корзины до показа условий, оплаты, приготовления и доставки. На временной линии отмечают, когда известны адрес, состав заказа, загрузка кухни, число курьеров и обещанное время. Это отделяет допустимые признаки от будущей информации.

Параллельно разбирают операционный процесс: кто закрепляет курьеров, как формируются зоны, когда закрывается кухня, что вызывает отмены и какие сервисы владеют состоянием. Часть проблем нельзя решить ценой, и их нельзя приписывать модели.

После этого становится ясно, какое действие доступно, какой исход наблюдать, где фиксировать предложение и сколько времени есть на ответ. Выбор архитектуры и модели следует из этого контракта, а не предшествует ему.

Если обучить модель предсказывать историческую стоимость доставки, она лишь воспроизведёт правила предыдущей системы. Для принятия решения нужен прогноз того, что произойдёт при конкретном воздействии: вероятность оформления заказа, средний чек, маржа, отмена, время доставки или составная полезность.

Строка данных должна содержать пользователя, корзину, состояние точки и курьеров, предложенный вариант и последующий исход. Желательно оценивать отклик на несколько допустимых вариантов либо причинный эффект изменения условий. Тогда оптимизатор сравнивает ожидаемую ценность и применяет ограничения бизнеса.

Нужно отделить прогноз от выбора действия. Модель оценивает последствия, а стратегия выбирает вариант с учётом допустимого диапазона, стабильности показанного предложения, справедливости, исследовательского бюджета и защитных метрик.

Для каждого решения сохраняют идентификатор пользователя и сессии, состав корзины, адрес и расстояние, состояние кухни и курьеров, время, выбранную стоимость или порог, вероятность назначения варианта и версию стратегии. Все признаки должны быть доступны до показа условий.

Метки строят из дальнейшего пути: продолжил ли пользователь оформление, завершил ли заказ, каков средний чек и маржа, были ли отмена и задержка. Окно наблюдения и правила атрибуции фиксируют заранее, чтобы не смешивать разные решения одной сессии.

Для причинной оценки особенно ценны данные контролируемого исследования. Если использовать только историю старой стратегии, варианты назначены неслучайно, поэтому модель легко выучит её смещения вместо реакции пользователя.

К оперативным признакам относятся число заказов по стадиям, оценка оставшегося приготовления, очередь печей, свободные курьеры, ожидаемое время возврата, число неназначенных заказов и погодные или дорожные условия. Они считаются по событиям и быстро теряют актуальность.

Стабильные признаки включают историю пользователя, типичную корзину, район, характеристики точки, зону доставки и календарные закономерности. Их можно обновлять пакетно или реже. В момент решения обе группы соединяются по согласованному временному срезу.

Для каждого признака нужны владелец, определение, задержка, срок годности и резервное значение. Нельзя использовать фактическое время приготовления текущего заказа, если оно стало известно только после показа цены.

Если почти всем показывали одинаковые условия, данные хорошо описывают спрос при одном воздействии, но не позволяют восстановить кривую отклика. Простое добавление цены как признака не создаёт отсутствующей информации и ведёт к экстраполяции.

Лучший источник — ограниченный рандомизированный эксперимент по допустимой сетке цен или порогов. Диапазон, доля трафика и защитные ограничения выбираются вместе с продуктом и операциями. Возможны также квазислучайные изменения правил, географические или временные различия, если их происхождение понятно и учтены смешивающие факторы.

До накопления данных разумно использовать прозрачные правила по сегментам и измерять их. Модель не должна принимать решения вне области, где есть достаточная поддержка наблюдений.

После запуска модель влияет на то, какие условия показаны и какие исходы наблюдаются. Поэтому новые данные не являются независимой выборкой: у непоказанных вариантов нет меток, а предпочтения действующей стратегии постепенно определяют состав обучающего набора.

В журнале нужно сохранять версию стратегии, множество допустимых вариантов, вероятность выбора каждого действия и контекст решения. Для обучения применяют взвешивание по вероятности назначения, причинные методы или данные отдельного рандомизированного исследования. Обязательно контролируют область поддержки вариантов.

Новая версия должна проходить проверку на независимом временном отрезке и затем новый A/B-тест. Постоянное обучение только на собственных решениях без исследования создаёт петлю обратной связи и может незаметно ухудшать отдельные сегменты.

Офлайн-проверка включает качество прогноза для каждого варианта, калибровку, ошибку ожидаемой ценности, устойчивость по времени и сегментам, а также моделирование выбранной стратегии. Одна средняя ROC-AUC не показывает, правильно ли система сравнивает воздействия.

В эксперименте основной метрикой может быть маржа или доля завершённых заказов на назначенного пользователя. Дополнительно измеряют средний чек, конверсию по шагам, стоимость доставки и загрузку операций. Защитные ограничения охватывают отмены, время доставки, жалобы, долю неожиданных пересчётов и различия между регионами и группами пользователей.

Следует заранее определить единицу анализа, правило атрибуции, длительность и MDE. Положительный бизнес-эффект принимается только вместе с соблюдением защитных порогов.

Сначала сравнивают распределения пользователей, корзин, регионов и назначенных условий до и после запуска. В каждом решении должны быть записаны версия стратегии, множество доступных вариантов, вероятность выбора и все признаки на тот момент. Без этого невозможно отделить реакцию пользователя от смещения системы.

Проверяют покрытие: для каких сегментов и вариантов осталось достаточно наблюдений, не исчезли ли альтернативные действия и не создаёт ли действующая модель петлю обратной связи. Данные с нарушенной атрибуцией, неизвестной стратегией или будущими признаками исключают.

Следующую версию оценивают на более позднем независимом периоде и в теневом режиме, после чего проводят новый эксперимент. Контролируемое исследование продолжают в небольшом объёме, чтобы система не потеряла способность сравнивать варианты.

Чаще всего пользователя закрепляют за вариантом на весь эксперимент, чтобы он не видел хаотично меняющиеся правила. Если воздействие заметно меняет общую нагрузку курьеров и кухни, индивидуальная рандомизация может создавать взаимное влияние; тогда рассматривают географические кластеры или чередование вариантов по временным окнам.

Размер выборки рассчитывают по базовой дисперсии основной метрики, минимальному полезному эффекту, уровню значимости и мощности. Для тяжёлохвостых денежных метрик полезны преобразование, усечение по заранее заданному правилу или бутстрэп на уровне единицы рандомизации.

Перед запуском проводят A/A-тест или теневой прогон: проверяют равенство групп, стабильность назначения, полноту событий, задержку расчёта, отсутствие пересечения и корректность дашборда.