Sequence-based модели

Почему порядок действий важен

Классическая CF модель видит пользователя как мешок взаимодействий: ему нравятся A, B, C. Но в реальности порядок часто решает. Если человек только что смотрел ноутбуки, ему нужны аксессуары сейчас, а не средний профиль за последние пять лет.

От session-based к transformer-based RecSys

• GRU4Rec: ранний сильный baseline для session-based recommendations.
• SASRec: self-attention по истории пользователя, хорошо ловит long-range зависимости.
• BERT4Rec: masked item prediction по аналогии с masked language modeling.
• Modern sequence learning: события, контекст, время, типы действий и multi-head attention.

Как формулировать задачу

• Next-item prediction: предсказываем следующий айтем в последовательности.
• Next-action prediction: предсказываем действие пользователя с кандидатом.
• Session recommendation: история короткая, пользователь может быть анонимным.
• Long-term + short-term interests: совмещаем устойчивые предпочтения и текущую сессию.

user history:
[view:phone] -> [view:case] -> [add_to_cart:charger]

next-item task:
recommend [screen protector], [power bank], [wireless charger]

Production нюансы

• Длина истории ограничена latency и памятью, поэтому события агрегируют или обрезают.
• События разных типов имеют разную силу: purchase и click нельзя просто смешать как одинаковые токены.
• Время важно: recency encoding часто дает большой прирост.
• Transformers дороже MF/GBDT, поэтому их часто ставят в retrieval/ranking только там, где окупается latency.