Рекомендательные системы

Контентная фильтрация рекомендует по признакам самого айтема (жанр, описание) — работает без истории взаимодействий, подходит для холодного старта (cold start) по айтемам. Коллаборативная фильтрация использует паттерны поведения похожих пользователей — даёт неожиданные рекомендации (serendipity), но требует данных о взаимодействиях. На практике используют гибрид: коллаборативную фильтрацию для основного ранжирования, контентную — для холодного старта.

Матрица взаимодействий R ≈ U·Vᵀ, где U — эмбеддинги пользователей, V — эмбеддинги айтемов. ALS фиксирует одну матрицу и решает задачу наименьших квадратов для другой, чередуя — хорошо параллелится и работает с неявной обратной связью (implicit feedback). SGD обновляет обе матрицы одновременно по каждому наблюдению — быстрее на разреженных данных, но хуже параллелится.

Явная обратная связь — пользователь явно поставил оценку (1-5 звёзд), неявная — косвенные сигналы (клики, просмотры, покупки). Неявных данных в 100-1000 раз больше, но они шумные: отсутствие клика ≠ «не нравится». Моделируют через взвешенную по уверенности матричную факторизацию: чем больше взаимодействий, тем выше уверенность, а отсутствие взаимодействия — не ноль, а низкая уверенность.

Основные подходы: рекомендации по популярности, контентные признаки (демография, регион, устройство), онбординг (просим выбрать интересы), стратегии исследования — сэмплирование Томпсона (Thompson Sampling) или ε-жадный (ε-greedy) алгоритм для быстрого обучения. Для новых айтемов: контентные фичи, передача знаний от похожих айтемов, мета-обучение (meta-learning — модель учится быстро адаптироваться по нескольким взаимодействиям).

NDCG (нормализованный дисконтированный кумулятивный выигрыш, Normalized Discounted Cumulative Gain) учитывает позицию релевантного айтема: чем выше в списке — тем больше вклад (дисконтирование через log). Precision@K просто считает долю релевантных в топ-K, не различая 1-ю и K-ю позицию. NDCG также учитывает степень релевантности (graded relevance), а не только бинарную — лучше подходит для оценки ранжирования.

Одна башня кодирует пользователя (историю, контекст), другая — айтем (фичи, эмбеддинги). Раздельное кодирование позволяет предвычислить эмбеддинги всех айтемов офлайн и использовать индекс приближённого поиска ближайших соседей (ANN — HNSW, FAISS) для быстрого отбора за O(log N). Если бы фичи пересекались в одной сети, пришлось бы прогонять каждую пару (пользователь, айтем) через модель — O(N) на каждый запрос.

На этапе отбора кандидатов (candidate generation) из миллионов айтемов быстро отбираются ~1000 (ANN, простые модели). Ранжирование (ranking) — тяжёлая модель скорит эту 1000 с учётом перекрёстных признаков. Переранжирование (re-ranking) — бизнес-логика: разнообразие, свежесть, справедливость, промо. Разделение на стадии — компромисс между качеством и задержкой: тяжёлую модель невозможно запустить на миллионах айтемов за 100ms.

SASRec использует причинное (causal) самовнимание по последовательности действий пользователя — предсказывает следующий айтем, как GPT предсказывает следующее слово. BERT4Rec маскирует случайные айтемы в последовательности и предсказывает их (как BERT с MLM). SASRec проще и быстрее, BERT4Rec потенциально точнее за счёт двунаправленного контекста, но сложнее на инференсе.

Хранилище признаков (Feature Store) — централизованное хранилище фич для ML, с раздельными онлайн- (low-latency serving) и офлайн- (batch training) интерфейсами. Корректность по времени гарантирует, что при генерации обучающих данных используются фичи, которые были доступны НА МОМЕНТ события, а не будущие значения. Без этого — утечка данных (data leakage): модель на трейне «видит будущее», на проде — нет.

Поточечный (pointwise): предсказываем скор каждого айтема независимо (регрессия/классификация). Попарный (pairwise): учим модель правильно упорядочивать пары (BPR, RankNet) — «A лучше B». Списковый (listwise): оптимизируем метрику на всём списке (LambdaRank, ApproxNDCG). Списковый подход ближе всего к реальной метрике, но сложнее в обучении. На практике попарный (BPR loss) — хороший баланс простоты и качества.

При чередовании (interleaving) один пользователь видит смешанный список из двух алгоритмов (чередуя айтемы от A и B), а не попадает в одну группу. Преимущество: в 10-100 раз меньше трафика для достижения статистической значимости, потому что вариативность между пользователями исключается — сравнение идёт внутри одного пользователя. Недостаток: подходит только для ранжирования, не для экспериментов с интерфейсом.

Популярные айтемы имеют больше взаимодействий → модель получает больше сигнала → ранжирует их выше → они получают ещё больше взаимодействий (петля обратной связи, feedback loop). Методы борьбы: обратное взвешивание склонности (inverse propensity weighting — штрафуем популярные), калибровка (соотношение популярного/нишевого ≈ в потреблении пользователя), переранжирование с учётом разнообразия (MMR), обучение на причинно-корректных данных.

ε-жадный (ε-greedy) случайно показывает неоптимальный айтем с вероятностью ε — прост, но тратит бюджет исследования впустую на заведомо плохие варианты. Сэмплирование Томпсона (Thompson Sampling) сэмплирует из апостериорного распределения (posterior) награды каждого айтема — автоматически больше исследует неопределённые айтемы и меньше — те, про которые уже известно. Thompson Sampling адаптивен: чем больше данных, тем меньше исследования.

В неявной обратной связи (implicit feedback) нет явных «не нравится» — нужно самим создавать отрицательные примеры. Наивный подход: случайные айтемы как негативы, но они слишком лёгкие для модели. Решение: поиск сложных негативов (hard negative mining) — берём айтемы, которые модель ранжирует высоко, но пользователь не кликнул. Но не слишком сложные — иначе ложные негативы (пользователь просто не видел айтем).

Каннибализация — когда рекомендация не создаёт новый спрос, а перенаправляет покупку, которая произошла бы и так (пользователь и сам бы нашёл этот товар). Инкрементальный прирост (incremental lift) = конверсия с рекомендацией − конверсия без неё. Измеряют через контрольный A/B-тест: контрольной группе не показывают рекомендации. Если прирост ≈ 0, рекомендательная система каннибализирует органический спрос.

Офлайн-метрики считаются на исторических данных, собранных старой моделью — это смещённая выборка (пользователь видел только то, что показала старая модель). Новая модель может ранжировать выше айтемы, которых пользователь никогда не видел — их нельзя оценить офлайн. Также CTR зависит от позиции (смещение позиции, position bias), интерфейса, контекста — всё это не учитывается в офлайн-оценке.

GNN полезны, когда важны многошаговые связи в графе «пользователь-айтем»: «друзья друзей» смотрят похожее, айтемы связаны через общие атрибуты. Работают хорошо при разреженных данных и социальных сетях (PinSage, LightGCN). Но GNN дороже в обучении и инференсе, требуют граф на входе. Если данных достаточно и граф не добавляет нового сигнала — двубашенная модель (two-tower) с хорошими фичами часто не хуже.

MAP@K (средняя точность, Mean Average Precision) усредняет Precision@k на каждой позиции, где встретился релевантный айтем — подходит для бинарной релевантности (кликнул/не кликнул). NDCG@K учитывает градации релевантности (оценки 1-5) и сильнее штрафует за ошибки на верхних позициях. MAP@K лучше, когда все релевантные айтемы одинаково важны (поиск). NDCG@K — когда есть степени релевантности (рейтинги, время просмотра). Обе нормализованы к [0, 1], но несопоставимы между собой.

Hit Rate@K — доля пользователей, для которых хотя бы один релевантный айтем попал в топ-K; простая бинарная метрика, показывающая «попали или нет». MRR — среднее от 1/ранг_первого_релевантного: если нужный айтем на 1-м месте — 1, на 2-м — 0.5, на 10-м — 0.1. MRR фокусируется только на первом попадании, NDCG учитывает все релевантные. Hit Rate используют для общей оценки retrieval, MRR — когда важен один лучший результат (поиск, Q&A).

Для нового пользователя: рекомендации по популярности, контекстные признаки (устройство, геолокация, время суток), интерактивный онбординг (выбери интересы), быстрое обучение через бандитов (Thompson Sampling — каждое взаимодействие обновляет предпочтения). Для нового айтема: контентные эмбеддинги (по описанию, изображению), подмешивание в выдачу для сбора откликов (exploration boost), мета-обучение (warm-start эмбеддинг на основе атрибутов). Ключевая разница: для пользователя нужно быстро узнать предпочтения, для айтема — быстро получить сигнал качества.