Как находят накрутку товарных рейтингов во ВкусВилле
Рейтинг влияет на решение о доработке и возвращении товара в ассортимент. Поддельные отзывы могут скрыть реальные проблемы качества. Команда «ДатаЛаб» объединяет признаки поведения, поиск аномалий и ручную перепроверку подозрительных покупателей.
Статья · на русском
Честные рейтинги и отзывы: роль машинного обучения в борьбе с фродом рейтинга и отзывов товаров в ритейлеАндрей Шелюх · ДатаЛаб · Опубликовано: 22 мая 2024 г.
Почему одного текста отзыва недостаточно
Система использует отзывы и оценки вместе с историей покупок, данными бонусных карт и связями между покупателями. Важны повторяющиеся телефоны, сведения по поставщикам и изменения поведения во времени. Текстовый анализ в статье упомянут отдельно, но его подробная реализация не раскрыта.
После очистки данных последовательности событий переводят в числовые представления с помощью Pytorch Lifestream. Это позволяет искать необычное поведение не только в отдельном отзыве, но и в истории пользователя или пары товар–поставщик.
Этот фрагмент в оригиналеНесколько способов заметить аномалию
Авторы сравнивают кластеризацию K-means, Isolation Forest и ошибку восстановления автоэнкодера. Первый метод группирует похожие объекты, второй ищет легко отделяемые необычные точки, третий замечает примеры, которые модель плохо восстанавливает по сжатому представлению.
На исходных рисунках векторы сведены к двум координатам для иллюстрации. Разные методы выделяют разные области. Их результаты объединяют с другими сигналами; сама необычность ещё не доказывает, что отзыв поддельный.
Группы отзывов на проекции признаков, приведённой авторами.
Источник: Иллюстрация из оригиналаОт сигнала к решению
Однократное срабатывание признака не обязательно приводит к блокировке. Система учитывает совокупность сигналов и повторяемость действий; признакам назначаются веса, подозрение возникает при достижении накопленного порога.
Команда ВкусВилла перепроверяет заблокированные карты вручную. Это связано с отдельной продуктовой задачей: защита рейтинга не должна мешать честному покупателю оставить отзыв. Методы и признаки приходится обновлять, поскольку схемы накрутки меняются.
Аномальные точки на той же проекции.
Источник: Иллюстрация из оригиналаЧто именно измеряют
В статье сформулирован ориентир: система должна обеспечивать 90% выявлений, оставляя ручным блокировкам не более 10%. Это не равно полноте по всем реальным случаям мошенничества — неизвестные случаи в такой оценке не учтены.
Дополнительно ВкусВилл отслеживает выручку и прибыль товаров, у которых обнаружили поддельные отзывы. Авторы описывают бизнес-смысл этого показателя, но не публикуют проверенный размер экономии от конкретного внедрения. Числа про потенциальные выгоды нельзя выдавать за результат эксперимента.
Этот фрагмент в оригинале