Semantic IDs: почему Wildberries строит иерархию снизу вверх
Одинаковые товары разных продавцов имеют разные ID, а редким и новым объектам не хватает взаимодействий. Крупные категории слишком грубы, чтобы объединить полезные сигналы. Команда группирует визуально близкие товары, строит иерархию и сохраняет смысл кодов между обновлениями.
Видео · на русском
«Semantic IDs: архитектура и наш опыт внедрения» — Александр ТришинАлександр Тришин · Опубликовано: 1 сентября 2025 г.
Исходный доклад · Открыть оригинал
Близкие товары должны делиться информацией
Изображения кодирует адаптированная к домену модель команды поиска по фото. Текст в описанном варианте не используется. Семантический код позволяет связать похожие объекты вместо независимого обучения каждого ID.
Это помогает накапливать обратную связь на группе, когда отдельный товар почти не покупали. Но выбор конкретного предложения внутри группы остаётся отдельной продуктовой задачей.
01:00 — фрагмент докладаПочему не оставили RQ-VAE
В докладе разобраны векторная и остаточная квантизация, затем их включение в автоэнкодер. На практике команда столкнулась с нестабильностью обучения, неиспользуемыми кодами и кластерами из одного объекта.
Ещё одна проблема — резкий переход от слишком крупных групп к почти бессодержательным уточнениям. Применённые способы регуляризации не обеспечили нужную иерархию, поэтому итоговая система устроена иначе.
Обучение VQ-VAE.
Источник: Кадр из докладаМаленькие группы последовательно объединяют
На нижнем уровне формируют много небольших групп максимально похожих товаров. Затем адаптивная кластеризация и дополнительные правила объединяют их. Сначала учитывают существующие предметные категории, дальше допускают более широкое объединение.
Так ошибка грубого верхнего разбиения не запирает товар навсегда в неверной ветке. Число и размеры групп можно регулировать на каждом уровне.
Идея объединения близких групп.
Источник: Кадр из докладаКод должен сохранять смысл после обновления
Каталог непрерывно меняется. Если при каждом обучении один префикс означает другую группу товаров, признаки и модели поверх кодов становятся нестабильными.
Новое дерево сопоставляют со старым и перенумеровывают узлы через задачу оптимального назначения. Проверяли разные меры сходства; базовое сопоставление по векторам оказалось удачным в их опыте.
Пример иерархии товарных кодов.
Источник: Кадр из докладаЧто успели проверить
Коды применили в доранжировании похожих товаров; автор сообщает об улучшении выручки продвижения без раскрытия величины. Другая проверка заменяла объекты нижними кластерами: A/B был нейтральным, а ресурсы сократились примерно в десять раз.
Выделение интересов по верхним уровням и дополнительные признаки обсуждаются как продолжающаяся работа. Сходство товаров не отменяет бизнес-правил выбора конкретного продавца и предложения.
22:00 — фрагмент доклада