Банк вопросов из реальных собеседований

В дейтинге или matching-продукте топ-профили получают львиную долю показов, а остальные растворяются. Как диагностировать и смягчить этот перекос, не убив вовлеченность?

Как проверить, что новая рекомендательная лента работает, и как понять, сколько держать A/B-тест?

How do you design an A/B test, estimate sample size/MDE, and handle cases where treatment and control users are not independent, such as drivers and passengers in a marketplace?

В маркетплейсе есть бесплатные и платные объявления. Как дать платным объявлениям дополнительную экспозицию, не ухудшив релевантность и справедливость для остальных продавцов?

Как оценивать функцию на основе языковой модели или агента, если обычная точность не отражает её пользу для пользователя и бизнеса?

За ночь нужно обработать около 10 тысяч страниц ста банков на одном CPU-сервере, а данные нельзя выносить наружу. На какие случаи тратить дорогую локальную языковую модель?

Speech-to-text output is lowercase words separated by spaces, without punctuation. Design a model that restores punctuation and capitalization without rewriting the text.

Как по выпискам разных банков рассчитать долю исходящего оборота, связанную с подозрительными контрагентами, и проверить правильность знаменателя?

Новая карусель или промо-метка дали прирост метрик. Как проверить, что его вызвала модельная релевантность, а не сам факт появления нового элемента интерфейса?

Пропуск редкого критического события дороже ложной тревоги. Как выбрать метрики и рабочие пороги модели?

Как обучить модель эмбеддингов, чтобы поиск по фотографии возвращал товарно релевантные результаты, а не просто визуально похожие изображения?

The product now has many client apps. How would you decide between one global LTV model, per-app models, clustered models or app embeddings?

Вы обучаете boosting-ранкер для рекомендаций по кликам и связкам образов. Как собрать датасет, сделать разбиение данных и не переобучиться на популярные товары и старые показы?

Модель учится на purchase target и поднимает дешевые товары со скидками. Как ранжировать так, чтобы больше зарабатывать?

A human reviewer and an automatic checker each output a list of found errors. How do you evaluate the checker?

A retail video analytics model should flag suspicious behavior, but humans do not fully agree on what “suspicious” means. How would you define success and evaluate whether the system is doing a good job?

Как оценить качество VLM, которая генерирует описание изображения для пользователя или downstream поиска?

Спроектируйте поиск недвижимости без явных фильтров: пользователь вводит свободный текст. Как на первом шаге определить метрики, признаки объявлений, контекст запроса и пользователя, а также базовую схему поиска и ранжирования?

Система сравнивает характеристики автомобиля из объявления с фотографиями. Мошенничество редко, а ошибочная блокировка вредит продавцу. Как обучить модель, проверить её и выбрать порог автоматического отказа?

Система сравнивает характеристики автомобиля из объявления с фотографиями. Мошенничество редко, а ошибочная блокировка вредит продавцу. Как обучить модель, проверить её и выбрать порог автоматического отказа?

На тарелке может быть несколько блюд, они перемешиваются и перекрывают друг друга. Почему segmentation или metric learning не решают задачу автоматически?

Какие требования и компромиссы нужно обсудить при переходе от одного узла к распределённой системе поиска ближайших векторов?

В супераппе inDrive есть несколько вертикалей: такси, доставка, междугородние поездки, грузовые перевозки и курьеры. Как рекомендовать активному пользователю одной вертикали попробовать другую? Разберите метрики, данные, модель, offline-оценку и A/B-тест.

Design an automatic system that checks whether a human/agent task result is good enough before delivery to a customer. How do you frame the ML problem?