Реклама по последовательности событий вместо тысяч агрегатов
Счётчики действий теряют их порядок и связь признаков внутри одного события. При этом варианты ручных агрегатов усложняют хранение и вычисления. Meta перешла к единому представлению событий и модели, которая обрабатывает их последовательность.
Статья · на английском
Sequence learning: A paradigm shift for personalized ads recommendationsSri Reddy, Habiya Beg, Arnold Overwijk, Sean O’Byrne · Опубликовано: 19 ноября 2024 г.
Что терялось при агрегации
Список нажатых объявлений и число посещений страниц полезны, но не сохраняют весь путь человека. Из отдельных счётчиков трудно понять, какие признаки относились к одному действию и что произошло раньше. Ручное добавление новых окон и способов подсчёта также создаёт много повторяющихся данных.
Этот фрагмент в оригиналеСобытие становится единицей входа
Event-based features описывают поток, число последних событий и поля каждого события. Вместо нескольких раздельных агрегатов модель получает связанный объект: что произошло, с чем и когда.
Признаки переводятся в векторы и сжимаются в представление события. Временное кодирование добавляет порядок и давность. Затем модель последовательности формирует ограниченное число представлений пользователя с учётом рекламы, которую предстоит оценить.
Сравнение прежней рекомендательной модели и модели последовательностей.
Источник: Иллюстрация из оригиналаКак сдерживают стоимость длинной истории
Нужно оценить тысячи объявлений за несколько сотен миллисекунд. Полное сравнение всех событий друг с другом дорого, поэтому применяют механизмы сжатия внимания до заданного числа представлений.
Длины историй у людей разные. Вместо большого количества пустого заполнения используют тензоры переменной длины и специальные операции GPU, включая Jagged Flash Attention. Для длинных и содержательных историй дополнительно нужны выбор событий и компактное кодирование их признаков.
Этот фрагмент в оригиналеЧто уже внедрено и что осталось целью
В статье от ноября 2024 года описан переход в рекламных системах Meta и рост конверсий на 2–4% в выбранных сегментах. Не раскрыты единая средняя прибавка по всем продуктам и подробности каждого эксперимента.
Увеличение последовательностей ещё в сто раз, новые архитектуры и оптимизация кеша названы будущими направлениями. Их следует отличать от результата описанного запуска.
Этот фрагмент в оригинале