Прямой вопросAgeCode
Ranking metrics и online guardrails
AgeCode: Техническое собеседование
К понятиям
Рекомендательные системы
Метрики рекомендаций и ранжирования
Offline-метрики попадания и порядка, дополненные online-метриками поведения и бизнеса.
Recall@KPrecision@KNDCGMRRMAPHitRate
37
проверенных вопросов
27
реальных собеседований
22
компании
Раздел полностью проверен: учтены все опубликованные вопросы с профильной разметкой и отдельно проверенные вопросы по ранжированию. Частотность относится к этому корпусу. Проверка от 2026-07-16.
Что нужно уметь
- Выбрать метрики отдельных стадий
- Спроектировать A/B-тест и защитные метрики
Как эту тему спрашивают
Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.
Что должно быть в ответе
- Recall@K для кандидатов
- NDCG/MRR/Precision@K для порядка
- Coverage, diversity и срезы
Прямой вопросApriori
Обучение и оценка реранкера RecSys
Apriori: Техническое собеседование
Прямой вопросGRII RED
Метрики рекомендаций в корзине
GRII RED: ML System Design
Прямой вопросConstructor
Оффлайн-оценка дополнительных рекомендаций по моде
Constructor: Техническое собеседование
Прямой вопросCorSearch
Цели и метрики рекомендательной ленты в банковском приложении
CorSearch Technical: рексистема по изображениям и векторным признакам
Прямой вопросCorSearch
Офлайн-метрики RecSys: recall@K, precision@K, coverage и NDCG
CorSearch Technical: рексистема по изображениям и векторным признакам
Прямой вопросDROM
Бизнес-метрики и model metrics
DROM: RecSys ML System Design
Прямой вопросFairmarkit
Какие target и метрики выбрать для ранжирования поставщиков
Fairmarkit: ML System Design
Прямой вопросGamerAM
Метрики удовлетворенности контентом в ленте
GamerAM: Скрининг
Прямой вопросGamerAM
Онлайн и офлайн рекомендации при ограничениях по задержке
GamerAM: Техническое собеседование
Прямой вопросGRII RED
Метрики мультимодальной рекомендательной системы
GRII RED: Техническое собеседование
Прямой вопросGRII RED
MAP/NDCG и связь с бизнес-эффектом
GRII RED: Техническое собеседование
Прямой вопросHeadHunter
NDCG, MAP и почему ranking-метрики не оптимизируют напрямую
HeadHunter: RecSys для вакансий, метрики и Transformer-модели
Прямой вопросHeadHunter
Как оценивать двухстадийную рекомендательную систему
HeadHunter: RecSys для вакансий, метрики и Transformer-модели
Прямой вопросOkko
Оффлайн и онлайн-метрики для рекомендаций по аналогичным пунктам
Okko: ML System Design
Прямой вопросOLX
Офлайн-оценка новой карусели
OLX: Техническое собеседование
Прямой вопросOLX
Метрики рекомендательной системы маркетплейса
OLX: Техническое собеседование
Прямой вопросOLX
Офлайн-проверка перед A/B-тестом рекомендателя
OLX: Техническое собеседование
Прямой вопросOzon
Метрики ранжирования: NDCG, MRR, Precision@K и online-метрики
Ozon: RecSys-собеседование про распределенное обучение, трансформеры и ранжирование
Прямой вопросРайффайзен Банк
Precision и Recall на разных этапах рекомендаций
Raiffeisen ML Coding: метрики, ML theory и SQL Top-K
Прямой вопросСамокат
Offline batch vs online inference в RecSys
Самокат RecSys ML System Design: TikTok-like лента видео с товарами
Прямой вопросСамокат
A/B-тест и бизнес-метрики видео-ленты
Самокат RecSys ML System Design: TikTok-like лента видео с товарами
Прямой вопросТ-Банк
Цели и метрики рекомендательной ленты в банковском приложении
Т-Банк: ML System Design
Прямой вопросТ-Банк
Офлайн-метрики RecSys: recall@K, precision@K, coverage и NDCG
Т-Банк: Техническое собеседование
Прямой вопросUzum
Offline и online-метрики для рекомендаций и поиска
Uzum: RecSys, признаки и сервис ранжирования
Прямой вопросWildberries
Метрика рекомендаций с учётом стоимости товара
Wildberries RecSys Technical: money recall, DSSM и content features
Прямой вопросAviatrix
NDCG, MAP, BPR и WARP в рекомендациях
ZingBrain / Aviatrix: Classic ML, CatBoost и рекомендации
Прямой вопросЗвук
Метрики музыкальных рекомендаций
Звук: RecSys по трекам, Python-рантайм и кодинг
Что должно быть в ответе
- Основная продуктовая метрика
- Защитные метрики
- MDE, длительность и единица рандомизации
Прямой вопросAgeCode
Ranking metrics и online guardrails
AgeCode: Техническое собеседование
Прямой вопросGRII RED
Фильтры и бизнес-правила рекомендаций в корзине
GRII RED: ML System Design
Прямой вопросCIAN
Обучение ранкеров, негативы и сочетание монетизации
CIAN: ML System Design
Прямой вопросCorSearch
Цели и метрики рекомендательной ленты в банковском приложении
CorSearch Technical: рексистема по изображениям и векторным признакам
Прямой вопросDodo
A/B-тесты в рекомендательных системах
Dodo: Скрининг
Прямой вопросDROM
Бизнес-метрики и model metrics
DROM: RecSys ML System Design
Прямой вопросGamerAM
A/B-тесты рекомендательной модели
GamerAM: Техническое собеседование
Прямой вопросGamerAM
Метрики удовлетворенности контентом в ленте
GamerAM: Скрининг
Прямой вопросGamerAM
Эффект rich-get-richer в matching-рекомендациях
GamerAM: Скрининг
Прямой вопросGRII RED
MAP/NDCG и связь с бизнес-эффектом
GRII RED: Техническое собеседование
Прямой вопросinDrive
Рекомендации между вертикалями в супераппе
inDrive: Техническое собеседование
Прямой вопросРайффайзен Банк
Как понять, что ML-фича принесла пользу
Raiffeisen ML Coding: метрики, ML theory и SQL Top-K
Прямой вопросOLX
Эксперимент с новой каруселью или промо-меткой
OLX: Техническое собеседование
Прямой вопросOLX
Офлайн-проверка перед A/B-тестом рекомендателя
OLX: Техническое собеседование
Прямой вопросOzon
Метрики ранжирования: NDCG, MRR, Precision@K и online-метрики
Ozon: RecSys-собеседование про распределенное обучение, трансформеры и ранжирование
Прямой вопросСамокат
A/B-тест и бизнес-метрики видео-ленты
Самокат RecSys ML System Design: TikTok-like лента видео с товарами
Прямой вопросТ-Банк
Цели и метрики рекомендательной ленты в банковском приложении
Т-Банк: ML System Design
Прямой вопросUzum
Сезонность, переобучение и A/B тест поискового ranker
Uzum ML System Design: поиск и ранжирование на маркетплейсе
Прямой вопросUzum
Offline и online-метрики для рекомендаций и поиска
Uzum: RecSys, признаки и сервис ранжирования