Назад к тренажеру

Банк вопросов из реальных собеседований

Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.

Все вопросы

673

Полный банк вопросов из реальных собеседований.

ML-теория

119

Классический ML, нейросети, NLP, CV и RecSys без длинного кейса.

Python

67

Устройство языка, структуры данных, тестирование и инженерная база.

SQL

12

Запросы, агрегации, оконные функции и объяснение результата.

ML System Design

259

Архитектура ML-сервиса, данные, обучение, инференс, мониторинг и откат версии.

Метрики и A/B

101

Качество моделей, продуктовые метрики, эксперименты и валидация.

Продуктовые кейсы

72

Как разложить задачу продукта, ограничения, риски и первый бейзлайн.

Математика и статистика

18

Вероятность, статистика, оценки, распределения и аккуратные допущения.

Behavioral Interview

25

Ответственность за задачу, конфликты, мотивация, коммуникация и работа с фидбеком.

Все вопросы

673 вопроса из реальных интервью

Открыть в общем банке
Темы
Сложность
Компания
Язык
ML-теорияMedium
Bagging, boosting и регуляризация деревьев

Чем отличаются bagging и gradient boosting? Что будет, если убрать одно дерево из Random Forest и из gradient boosting, и как деревья могут переобучаться на редких категориальных признаках?

baggingrandom forestgradient boostingdecision trees
inDrive
ML-теорияMedium
Дискриминативные и генеративные модели

Есть дискриминативные и генеративные модели. Чем они отличаются с математической точки зрения? Приведите примеры современных генеративных моделей.

generative modelsdiscriminative modelsdiffusionGAN
Wisebits / xHamster
ML-теорияMedium
Как строить генерацию кандидатов для товарных рекомендаций

Есть рекомендации похожих или сочетаемых товаров. Какие источники кандидатов и признаки можно использовать?

candidate generationitem-to-itemcollaborative filteringВекторный поиск
Uzum
ML-теорияMedium
Переобучение, регуляризация и подбор гиперпараметров

Для бинарной классификации есть очень много признаков. Какие проблемы это создает, как заметить переобучение и как подбирать гиперпараметры без утечки в тест?

overfittingregularizationcross-validationhyperparameters
inDrive
ML-теорияHard
Open vocabulary цвета и атрибутов

Каталог содержит много цветов и текстовых описаний, а пользователи ищут по фото. Как извлекать и использовать цветовые атрибуты, если словарь не полностью закрыт?

attributescoloropen-vocabularymultimodal
Wildberries
ML-теорияHard
Self-supervised pretraining на unlabeled sequences

Есть много неразмеченных driving/log sequences и мало labels для редких событий. Какие self-supervised подходы можно использовать до supervised fine-tuning?

self-supervised-learningsequence-modelingrepresentation-learningpretraining-objectives
Waymo
ML-теорияHard
VLM для распознавания еды: точность vs latency

Большая VLM неплохо распознает блюда, если дать ей фото и меню, но отвечает десятки секунд. Как использовать такую модель в продукте с жестким latency?

computer-visionvlmdistillationlatency
CV catering
ML-теорияHard
Как персонализировать item-page карусель автомобилей

На странице конкретного автомобиля все пользователи видят одинаковые item-to-item рекомендации. Как добавить персонализацию, сохранив связь с текущим item и низкую latency?

motorsitem-to-itemuser-to-itempersonalization
OLX
ML-теорияHard
Как подавать разнотипные признаки в трансформер для RecSys

Есть числовые, категориальные и поведенческие признаки пользователя и товара. Как превратить их во вход трансформера?

feature encodingtransformerscategorical featuresuser embeddings
Ozon
ML-теорияHard
Как превратить текстовый запрос в кандидатов для поиска недвижимости

Пользователь пишет свободный текстовый запрос по недвижимости, в котором могут быть частые атрибуты и редкие бытовые детали. Как превратить такой query в кандидатов через structured attributes, полнотекстовый поиск и векторный поиск?

semantic searchattribute extractionВекторный поискBM25
CIAN
ML-теорияHard
Переписывание мультимодального запроса

Пользователь отправляет картинку и короткий текстовый запрос. Как переписать это в поисковый запрос, который лучше работает с существующим поиском?

vlmquery-rewritingsearchmultimodal
Яндекс
ML-теорияHard
Фильтрация web search результатов для brand protection

Спроектируйте систему, которая ищет в интернете потенциальные нарушения бренда и фильтрует массу нерелевантных результатов для 1000+ клиентов.

searchmoderationbrand-protectionretrieval
Corsearch / Navi
PythonMedium
In-memory движок векторного поиска: что важно в реализации

Нужно устно спроектировать простой in-memory векторный поиск: add, search top-K, cosine similarity, stats. На что обратить внимание?

Векторный поискcosine similaritytop-Kdata structures
Waibee
PythonMedium
Python highload: CPU и memory troubleshooting

Python-сервис под нагрузкой потребляет много CPU или памяти. Как диагностировать и что можно делать, если проблема действительно в Python-коде?

performanceПамятьprofilingobservability
Мультифактор
PythonMedium
Генераторы кандидатов и ALS для implicit-feedback рекомендаций

Какие генераторы кандидатов можно использовать в рекомендательной системе? Где в этом стеке находится ALS по implicit feedback, в чем его сильные стороны и ограничения?

candidate generationALSimplicit feedbackcollaborative filtering
T-Bank
PythonMedium
Имена, ссылки, циклические ссылки и mutable defaults в Python

В Python есть код со списками, ссылками на объекты, циклическими ссылками и mutable default arguments. Как пройтись по нему и объяснить, что останется в памяти и почему?

garbage-collectionreferencesmutable-defaultspython-internals
Sber / GigaChat
PythonMedium
Как поставить задачу предсказания возврата пользователя

Бизнес хочет понимать, вернется ли пользователь и стоит ли давать ему скидку. Как сформулировать ML-задачу, таргет и признаки?

churn predictiontarget definitionПодготовка признаковtime split
Mayflower
PythonMedium
Как ревьюить класс для чтения и обработки данных

На собеседовании показывают класс, который читает файл, хранит DataFrame и делает обработку. Какие проблемы искать в таком коде?

code reviewdata pipelineУправление состояниемpandas
Звук
PythonMedium
На какой день VIP-прогноз становится достаточно надежным

Для нового игрока нужно понять, когда уже можно доверять прогнозу VIP-статуса. Как оценить, на каком дне жизни клиента модель дает достаточно полезный сигнал?

calibrationprediction-horizonconfidencecasino
MrBit
PythonMedium
Сложности операций в односвязном списке, list, dict и строках Python

Сравните сложности добавления и доступа для односвязного списка, Python list, Python dict и конкатенации строк. Где нужен amortized O(1), а где важен worst-case?

data structuresPython listdicthash table
inDrive
PythonHard
Python-обертка или полный rewrite legacy C

Есть legacy C-компонент и желание дать пользователям удобный Python/API слой. Как рассуждать: делать обертку вокруг C или полностью переписывать реализацию на Python?

legacyarchitecturetechnical-tradeoffsapi-design
Мультифактор
PythonHard
Как агрегировать CTR по минутам и где хранить результат

Как должен выглядеть stream job для CTR dashboard: что он читает, что считает и куда пишет результат для графика рекламодателя?

Потоковая обработкаsparkclickhousectr
Компания не указана
PythonHard
Какие target и метрики выбрать для ранжирования поставщиков

В истории заявок можно использовать winner label, bid/no-bid, ручное удаление поставщика и другие события. Какие labels и метрики выбрать для candidate generator и ranker?

Метрикиlabelslearning-to-rankrecsys
Fairmarkit
ML System DesignMedium
Baseline для рекомендаций в корзине через item-item co-occurrence

Нужно сделать рекомендации товаров в блоке корзины: 10 млн пользователей и 100 тыс. товаров. Как построить простой baseline через совместные покупки?

recsyscartitem-itembaseline
GRII RED
ML System DesignMedium
Production-loop для CV модели после rollout

После запуска CV модели на реальных точках появляются ошибки, новые блюда и новые условия съемки. Как построить поддержку и дообучение?

computer-visionmlopsactive-learningmonitoring
CV catering
ML System DesignMedium
VLM и чат-ассистент поверх поиска недвижимости

Как встроить VLM, поиск по картинкам и чат-ассистента в продукт поиска недвижимости так, чтобы они дополняли основной retrieval/ranking, а не заменяли его?

VLMRAGassistantreal-estate search
CIAN
ML System DesignMedium
Безопасный rollout ONNX-модели в production

Как безопасно выкатить новую версию ONNX-модели в production: какие проверки сделать до релиза, как включать трафик, что мониторить и как быстро откатиться?

production incidentONNXrollbackdatabase publish
CIAN
ML System DesignMedium
Границы pricing-системы при закрепленных курьерах

Курьеры закреплены за юнитом и зоной, а pricing-система не управляет расписанием. Как это ограничение должно повлиять на дизайн ML решения?

domain-constraintsdeliverydecision-policylogistics
Dodo
ML System DesignMedium
Зачем рекомендательная система, если заказчик может вручную менять поставщиков

Заказчик может удалить предложенных поставщиков и добавить своих. Как объяснить ценность рекомендательной системы в таком продукте и какие метрики из этого следуют?

product-valueb2b-marketplacerecsysМетрики
Fairmarkit
ML System DesignMedium
Как заранее понять пользу audio-event фичи

Есть новая возможность: по аудио понять событие вокруг пользователя, например лай собаки, открытие двери или разбитое стекло. Как до обучения модели понять, есть ли продуктовая польза?

product-mlaudio-classificationassistantuser-value
Sber / GigaChat
ML System DesignMedium
Как поставить задачу раннего VIP-прогноза

В casino-продукте sales-команде нужно как можно раньше понять, станет ли новый игрок VIP по депозитам и обороту. Как сформулировать ML-задачу, target, горизонт прогноза и бизнес-действие?

classic-mlcasinotarget-definitionbusiness-objective
MrBit
ML System DesignMedium
Как построить модель распознавания аудио-событий

Как технически построить модель, которая по аудио определяет событие: лай собаки, звук двери, разбитое стекло и похожие классы?

audio-classificationspectrogrammodelingedge-ml
Sber / GigaChat
ML System DesignMedium
Как посчитать поток событий для CTR dashboard

Нужно построить систему, где рекламодатель смотрит CTR кампаний. Дано 200 млрд показов в день и CTR около 1%. Как начать system design с чисел?

system-designadsctrcapacity-planning
Компания не указана
ML System DesignMedium
Как разделить suggest и свободный поиск по статьям

В продукте есть база статей. Пользователь может видеть подсказки или задавать свободный вопрос. Как разделить эти два режима в дизайне поиска?

searchsuggestragproduct-requirements
AgeCode
ML System DesignMedium
Как собрать данные и классы для модели модерации

Для moderation-модели нужны классы и данные. Как собрать labels, обработать дисбаланс и не смешать разные политики в один шумный датасет?

moderationtraining-datalabelingclass-imbalance
Satel Generation
ML System DesignMedium
Как сформулировать ML System Design-задачу подбора поставщиков

Fairmarkit -- маркетплейс для корпоративных закупок: заказчик создает заявку, а система предлагает подходящих поставщиков. Как сформулировать ML-задачу подбора поставщиков перед выбором модели?

подбор поставщиковb2brecsysproblem-framing
Fairmarkit
ML System DesignMedium
Как учитывать категории и комплементарность в корзине

Если пользователь добавил кольцо, стоит ли рекомендовать еще кольца? Как сформулировать цель и ограничения для рекомендаций в корзине?

recsysdiversitycomplementsbusiness-rules
GRII RED
ML System DesignMedium
Как часто пересчитывать стоимость доставки в корзине

Клиент видит стоимость доставки или порог бесплатной доставки в корзине. Каталог и корзина меняются, а на чек-ауте нельзя показать другую цену и вызвать негатив. Как спроектировать пересчет и где провести границу между точностью, latency и стоимостью?

recsyspricingdeliverymonetization
Dodo
ML System DesignMedium
Какие offline и online метрики у moderation-модели

Модель модерации работает в production. Какие метрики смотреть offline, online и после запуска, чтобы контролировать качество и нагрузку на ручную проверку?

moderationМетрикиmanual-reviewmonitoring
Satel Generation
ML System DesignMedium
Какие данные нужны для подбора поставщиков и что меняет масштаб

Есть исторические сделки, логи платформы, больше миллиона поставщиков и около 100 компаний-заказчиков. Какие данные использовать и как масштаб влияет на архитектуру?

datascaleevent-logscandidate-generation
Fairmarkit
ML System DesignMedium
Когда нужен векторный поиск, а когда full-text

В продукте есть поиск по документам/артефактам. Когда использовать full-text, когда векторный поиск, и зачем может понадобиться hybrid retrieval?

Векторный поискBM25Гибридный поискretrieval
Unimatch
ML System DesignMedium
Постановка задачи динамической стоимости доставки

В ML System Design кейсе про доставку нужно спроектировать персонализацию минимальной суммы заказа или платной доставки ниже порога. Как задать цель, границы и базовый план системы?

pricingdeliveryml-system-designproblem-framing
Dodo
ML System DesignMedium
Прогнозирование временных рядов: постановка, baseline и валидация

Нужно прогнозировать retention, revenue или LTV во времени. Как поставить задачу, выбрать горизонт и гранулярность, построить baseline и провести корректную временную валидацию?

time-seriesforecastingltvbaseline
Almus
ML System DesignMedium
Разбор пользовательского и операционного сценарий до модели

Почему в кейсе доставки стоит сначала разложить путь пользователя и операционный процесс заказа, а уже потом выбирать модель?

Продуктовый сценарийoperationsdeliveryfeature-discovery
Dodo
ML System DesignMedium
Сколько данных нужно и когда включать high-resolution режим

Для audio-event фичи спрашивают: сколько данных нужно для обучения и как решить, когда переключать камеру/устройство на более дорогой режим обработки?

data-collectionthresholdsedge-mlactive-learning
Sber / GigaChat
ML System DesignMedium
Файлы ML-модели, упаковка сервиса и безопасный rollout

Вы обучили и провалидировали ML-модель. Какие файлы и метаданные нужно версионировать, как упаковать сервис и как безопасно выкатить новую версию?

ML deploymentMLflowDockerFastAPI
Apriori
ML System DesignMedium
Что делать, если рекомендации в корзине не нашлись

В item-item рекомендациях для корзины может не быть соседей: новый товар, редкий товар, новый пользователь или корзина из многих товаров. Какие fallback предусмотреть?

recsyscold-startfallbackscart
GRII RED
ML System DesignHard
Agentic architecture для motion-design AI product

Нужно спроектировать AI-native продукт, который по запросу пользователя генерирует качественные motion graphics. Как выбрать между pipeline и fully agentic архитектурой, как встроить human-in-the-loop evaluation и как управлять trade-off между quality, consistency и latency?

LLM-агентыAI productevaluationhuman-in-the-loop
Hera
ML System DesignHard
Closed-loop evaluation для LLM agents

У LLM-agent продукта уже есть offline benchmark: для каждого изменения видно, стала ли метрика лучше или хуже. Как превратить результаты evaluation в цикл улучшения системы, не скатываясь в слепую автоматическую оптимизацию под шумный benchmark?

LLM evaluationagentsRAGLLM-as-judge
Hera
ML System DesignHard
CV-пайплайн для поиска разных авто в одном объявлении

Спроектируйте систему, которая по фото и метаданным объявления определяет, что в карточке или истории автомобиля появились разные машины.

cvmoderationmarketplacepipeline-design
Corsearch / Navi
ML System DesignHard
Production-архитектура рекомендаций в корзине

После baseline и ranker нужно объяснить production: где считаются кандидаты, где хранятся фичи, как часто пересчитывать рекомендации при изменении корзины?

recsysproductionfeature-storeonline-inference
GRII RED
ML System DesignHard
Rare event classification по temporal embeddings

Есть последовательность embedding-ов дорожной сцены за временное окно. Нужно находить несколько редких событий интереса. Как сформулировать ML-задачу и baseline?

temporal-modelingmulti-label-classificationautonomous-drivingproblem-framing
Waymo
ML System DesignHard
Агент, который делает презентацию из текста

Нужно спроектировать продукт: пользователь дает текстовую задачу, система делает презентацию со слайдами, таблицами и картинками. Как построить pipeline?

LLM-агентыpresentation generationstructured outputsystem-design
Unimatch
ML System DesignHard
Адаптивная маршрутизация LLM-запросов по GPU

В LLM-инференсе есть несколько GPU-воркеров. Почему наивная round-robin маршрутизация может быть неэффективной, и как спроектировать адаптивный слой маршрутизации с учетом загрузки GPU, KV cache и длины запроса?

LLM servingGPU routingKV cacheinference optimization
Samsung
ML System DesignHard
Генерация описаний для объектных ответов в поиске

В международном поиске нужно показывать короткое описание объекта в карточке ответа, например для Китая. Как построить ML-систему генерации таких описаний?

searchobject-answergenerationinternational
Яндекс
ML System DesignHard
Двухэтапный retrieval/ranking для подбора поставщиков

Как спроектировать candidate generation и ranking для подбора поставщиков под закупочную заявку в маркетплейсе корпоративных закупок?

retrievalРанжированиеvector-searchrecsys
Fairmarkit
ML System DesignHard
Как бороться с selection bias и неоднозначными negatives

Исторические данные есть только по поставщикам, которых уже показывали или приглашали. Как понять и уменьшить selection bias, и как обращаться с losing bids?

selection-biasexplorationnegative-samplinglabels
Fairmarkit
ML System DesignHard
Как валидировать LLM-фичи и не дать модели додумывать

LLM извлекает признаки из PDF-отчета: например, будущий план производства. Как проверить, что признак основан на документе, а не на внешних знаниях или догадках?

llmgroundingevaluationfeature-extraction
Компания не указана
ML System DesignHard
Как делать train/test split и offline validation для marketplace модели

Для marketplace pricing/recommendation модели нужно построить offline validation. Как выбрать строку датасета, train/test split и метрики, чтобы не получить красивую, но бесполезную оценку?

offline-evaluationВалидацияmarketplacepricing
OLX
ML System DesignHard
Как деплоить audio-event модель на устройство

Модель распознавания аудио-событий должна работать на колонке/камере с CPU и ограничениями по latency, privacy и батарее. Как это спроектировать?

edge-mlaudio-classificationlatencyprivacy
Sber / GigaChat
ML System DesignHard
Как добавить content embeddings в DSSM/two-tower модель

Есть item2vec/DSSM-подобная модель, обученная на сессиях кликов: anchor, positive рядом в сессии и negative. У товара есть текстовый embedding из LLM. Как добавить content-информацию в архитектуру?

recsysdssmtwo-towercontent-embeddings
Wildberries
ML System DesignHard
Как использовать LLM для фичей в прогнозе производства

Есть прогноз производства по рудникам/активам. В отчетах компаний есть текст, планы роста, графики и будущие ожидания. Как использовать LLM, чтобы улучшить табличную модель, но не заменить ее полностью?

ML System Designllmfeature-extractionforecasting
Компания не указана
ML System DesignHard
Как получить пары текстовый запрос — дорожный сегмент

Для обучения retrieval нужны пары текстовый запрос и релевантный дорожный сегмент из последовательностей изображений. Где взять такие labels и как не утонуть в ручной разметке?

labelingcontrastive-learningcomputer-visiondata-strategy
Waymo
ML System DesignHard
Как построить модель визуального сравнения объявлений авто

Есть база объявлений авто и якорное объявление. Нужно находить архивные объявления, где визуально другая машина: другой цвет, салон, колеса, кузов или ракурс. Как поставить задачу и обучить модель?

computer-visionmetric-learningretrievalhard-negatives
Wildberries
ML System DesignHard
Как превратить годовой guidance в квартальные фичи

В отчете сказано: производство вырастет на 20% за год, рост начнется во второй половине года. Модели нужен прогноз по кварталам. Что должна вернуть LLM-фича?

forecastingllmfeature-engineeringuncertainty
Компания не указана
ML System DesignHard
Как прогнозировать LTV для новых когорт без истории

Есть LTV/retention прогноз по когортам. Для старых когорт есть 7/30/180 дней истории, а для новых есть только install или trial. Как строить прогноз уже сегодня?

ltvtime-seriescohortscold-start
Almus
ML System DesignHard
Как работать с деревьями категорий заказчиков

У каждого заказчика свое дерево категорий: названия могут быть нормальными словами, внутренними кодами или разной глубины. Как учитывать такие категории при подборе поставщиков?

taxonomyembeddingscategorical-featuresb2b
Fairmarkit
ML System DesignHard
Как собрать feature pipeline, batch scoring и мониторинг

Данные casino-продукта лежат в хранилище и приходят через очередь сообщений. Нужно регулярно обновлять признаки и скорить пользователей. Как спроектировать production pipeline?

feature-storebatch-inferencemonitoringmlops
MrBit
ML System DesignHard
Как сравнить два LLM для customer support automation

Есть реальный продуктовый use case: customer support automation. Нужно сравнить два LLM/agent variants и выбрать, какой запускать. Как спроектировать evaluation: данные, offline metrics, human/LLM judging, system metrics и online validation?

LLM evaluationcustomer supportRAGA/B testing
Parloa
ML System DesignHard
Как строить эмбеддинги поставщиков и чем опасна многошаговая агрегация

Поставщика можно представить через прошлые заявки, профиль и категории. Как построить представление поставщика и какие проблемы есть у averaging request embeddings?

эмбеддинги поставщиковrepresentation-learningfeature-aggregationfeature-engineering
Fairmarkit
ML System DesignHard
Как сформулировать text-to-scene retrieval задачу

Есть большой архив дорожных сцен автономного автомобиля. По текстовому запросу нужно находить релевантные сегменты, например редкие ситуации с пешеходами или необычным трафиком. Как начать ML System Design?

computer-visionretrievalautonomous-drivingmultimodal
Waymo
ML System DesignHard
Как устроить dual encoder retrieval для последовательностей изображений

Нужно индексировать не одиночные картинки, а последовательности дорожных кадров. Как сделать retrieval-модель и embedding index для text-to-scene search?

dual-encoderanntemporal-modelingcomputer-vision
Waymo
ML System DesignHard
Какую deep learning архитектуру выбрать для временного ряда

После градиентного бустинга: если смотреть в сторону deep learning, какую архитектуру предложить для последовательных данных или временного ряда и почему?

ML System Designtime-seriesdeep-learningsequence-models
BHFT
ML System DesignHard
Лейблы для контрольных вопросов

Какие лейблы собрать для обучения выбора контрольного вопроса и как бороться с тем, что мы видим ответы только на показанные вопросы?

labelscounterfactualssecurityРанжирование
T-Bank
ML System DesignHard
Поиск safe/unsafe видеофрагментов на большом масштабе

Представьте два видеосервиса с миллиардами роликов: в одном нужно быстро находить safe-фрагменты внутри в основном unsafe-контента, в другом - unsafe-фрагменты внутри в основном safe-контента. Разметки почти нет, ресурсов и времени мало. Как бы вы строили pipeline?

video moderationclass imbalancedata miningweak supervision
Wisebits / xHamster
ML System DesignHard
Ранжирование контрольных вопросов в call center

В call center нужно выбрать контрольный вопрос для верификации клиента: достаточно безопасный, но не слишком сложный. Как построить ML-систему ранжирования вопросов?

bankingРанжированиеverificationcall-center
T-Bank
ML System DesignHard
Спроектировать рекомендательную ленту видео с товарами

В e-commerce приложении запускается TikTok-like лента видео на главной. К каждому видео привязаны товары, видео около 1500 и живут 1-2 месяца. Истории по новой поверхности нет. Как спроектировать систему рекомендаций?

recsysvideo-feedecommercecold-start
Самокат
ML System DesignHard
Что делать, если invoice parsing слишком дорогой и медленный

Pipeline для PDF-инвойсов работает, но обработка стала медленной и дорогой. Как искать узкие места и оптимизировать?

cost optimizationlatencyDocument AIproduction-debugging
Vertex / BP
Метрики и A/BMedium
Bayes theorem для diagnostic test с base rate

Есть disease prevalence 1% и diagnostic test с 5% error rate. Если test result positive, как посчитать вероятность, что человек действительно болен, и где чаще всего ошибаются?

Bayes theorembase ratediagnostic testclassification metrics
Revolut
Метрики и A/BMedium
Bootstrap для оценки неопределенности LTV

Есть исторические пользователи и посчитанный LTV. Как использовать bootstrap, чтобы оценить разброс LTV и получить нижнюю границу для решения о закупке трафика?

bootstrapltvuncertaintyquantiles
Adapty
Метрики и A/BMedium
Metric learning для сопоставления авто по фото

Как построить систему, которая по фотографиям объявлений понимает, что в отчете оказалась другая машина, и удаляет ошибочные совпадения?

metric-learningcomputer-visionimage-matchingembedding-models
Dubai Tech
Метрики и A/BMedium
Precision, recall и ROC-AUC при сильном дисбалансе классов

В выборке 95 единиц и 5 нулей. Модель всегда предсказывает единицу. Посчитайте precision, recall и ROC-AUC, а затем объясните, почему такая модель плохая и какие метрики смотреть дополнительно.

precisionrecallROC-AUCclass imbalance
inDrive
Метрики и A/BMedium
Rich-get-richer bias в matching-рекомендациях

В dating или matching продукте топ-профили получают львиную долю показов, а остальные растворяются. Как диагностировать и смягчить этот перекос, не убив вовлеченность?

RecSyspopularity biasfairnessexploration
GamerAM
Метрики и A/BMedium
Как безопасно использовать AI coding tools в команде

Команда активно использует AI coding tools. Какие риски нужно контролировать и как встроить это в инженерный процесс?

AI codingcode reviewИнженерные практикиengineering-quality
Flametree
Метрики и A/BMedium
Как выбрать признаки и метрики для модели возврата

После первой модели нужно понять, какие признаки оставить и стала ли модель лучше. Какие offline-метрики и проверки использовать?

feature importanceSHAPprecisionrecall
Mayflower
Метрики и A/BMedium
Как из продуктовой идеи получить ML-задачу

Как выглядит типичная задача от бизнеса или продукта? Что вы уточняете, если приходит верхнеуровневая идея вроде поднять метрику или автоматизировать решение?

Продуктовые кейсыrequirementsbusiness metricsexperimentation
GamerAM
Метрики и A/BMedium
Как понять, что ML-фича принесла пользу

Интервьюер спрашивает: какие метрики отслеживали и как понимали, что внедренное ML-решение действительно приносит пользу?

Метрикиab-testingrecsysbusiness-impact
Raiffeisen Bank
Метрики и A/BMedium
Как посчитать money recall для рекомендаций

Две модели имеют похожие Precision@k и Recall@k, но одна приносит больше денег, потому что рекомендует более дорогие релевантные товары. Как адаптировать offline-метрику?

recsysМетрикиmoney-recallmarketplace
Wildberries
Метрики и A/BMedium
Какой constant classifier минимизирует binary logloss

Есть датасет с N0 отрицательными и N1 положительными примерами. Классификатор всегда выдает одну вероятность p. Какое p минимизирует binary logloss?

Loglossbinary-classificationОптимизацияМетрики
Huawei
Метрики и A/BMedium
Метрики удовлетворенности контентом в ленте

Как понять, что пользователям нравится контент в новостной ленте? Какие данные мониторить и какие смещения могут искажать эти метрики?

feed rankingengagement metricsbiassatisfaction
GamerAM
Метрики и A/BMedium
От чего зависит sample size в A/B-тесте конверсии

В A/B-тесте сравниваем conversion rate control и treatment. От каких компонентов зависит минимальный sample size, чтобы обнаружить статистически значимый эффект?

A/B testingsample sizeconversion ratepower
Revolut
Метрики и A/BMedium
Фальшивая монета после серии орлов

Есть 1000 монет, одна из них с орлом на обеих сторонах, остальные честные. Выбрали монету случайно и получили 10 орлов подряд. Какова вероятность, что выбрана фальшивая монета?

bayesВероятностьposteriorbayesian-update
Dubai Tech
Метрики и A/BHard
Fairness для платных объявлений в marketplace recommendations

В маркетплейсе есть бесплатные и платные объявления. Нужно давать платным больше показов/кликов, но не портить релевантность пользователю. Как решить задачу?

paid-adsfairnessmarketplacemonetization
OLX
Метрики и A/BHard
Высокоточная модерация фото авто при редком фроде

Нужно автоматически отклонять объявления, когда признаки с фото авто противоречат введенным пользователем атрибутам. Фрод редкий, а ложные отклонения бьют по пользователям. Как обучать модель, валидировать качество и выбирать пороги?

Computer Visionmoderationrare positivesthresholds
Tochka
Метрики и A/BHard
Как A/B-тестировать новую карусель или тег Deal of the Day

В marketplace добавляют новую карусель или тег Deal of the Day с модельным отбором объявлений. В A/B выросла конверсия. Как понять, что сработала именно модель, а не просто новый UI/тег?

ab-testingmarketplaceconfoundingrecsys
OLX
Метрики и A/BHard
Обучение pointwise-ранкера без утечек и перекоса в популярные товары

Вы обучаете boosting-ранкер для рекомендаций по кликам и связкам образов. Как собрать датасет, сделать train/validation/test split и не переобучиться на популярные товары и старые показы?

РанжированиеboostingВалидацияtime split
T-Bank
Метрики и A/BHard
Оптимизировать прибыль, а не только покупки

Модель учится на purchase target и поднимает дешевые товары со скидками. Как ранжировать так, чтобы больше зарабатывать?

marginobjective-designВыручкаbusiness-alignment
Constructor
Метрики и A/BHard
Поиск недвижимости по текстовому запросу: метрики и признаки

Спроектируйте поиск недвижимости без явных фильтров: пользователь вводит свободный текст. Как на первом шаге определить метрики, признаки объявлений, query/user context и базовую схему retrieval/ranking?

real-estate searchМетрикиitem featuresmarketplace
CIAN
Метрики и A/BHard
Почему еду на подносе сложно распознавать

На тарелке может быть несколько блюд, они перемешиваются и перекрывают друг друга. Почему segmentation или metric learning не решают задачу автоматически?

computer-visionsegmentationmetric-learningfood-recognition
CV catering
Метрики и A/BHard
Рекомендации между вертикалями в супераппе

В супераппе inDrive есть несколько вертикалей: такси, доставка, междугородние поездки, грузовые перевозки и курьеры. Как рекомендовать активному пользователю одной вертикали попробовать другую? Разберите метрики, данные, модель, offline-оценку и A/B-тест.

superappRecSyscross-sellmarketplace
inDrive
Метрики и A/BHard
Эмбеддинги пользователей для matching-рекомендаций

Как обучить эмбеддинги пользователей для matching: какую архитектуру, loss и target выбрать, если пользователям рекомендуются другие пользователи?

matchingembeddingssiamese networkcontrastive loss
GamerAM
Продуктовые кейсыEasy
Какие Linux-команды нужны для диагностики сервера

Интервьюер спрашивает, какими Linux-командами пользоваться на сервере для навигации, поиска файлов, логов и диагностики процессов.

linuxopsdebuggingserver
FlameTree
Продуктовые кейсыMedium
Cold start в рекомендациях для нового пользователя

Как решать cold start для нового пользователя в ленте рекомендаций? Когда использовать popularity, user-based, item-based и content-based подходы?

cold startuser-based recommendationsitem-based recommendationscontent features
GamerAM
Продуктовые кейсыMedium
Kafka partitions и время обработки consumer group

В Kafka topic 10 partitions и 100 задач: 90 задач по 90 ms и 10 задач по 1 s. Задачи равномерно лежат по partitions, внутри partition порядок последовательный. Как оценить best/worst completion time для 1, 10 и 20 consumers?

kafkaparallelismbackendconsumer-groups
Tevian
Продуктовые кейсыMedium
Product use cases для VLM в поисковом продукте

Команда развивает мультимодальную модель для поиска и продукта вроде нейро-ответов. Какие use cases стоит выбрать и как приоритизировать?

vlmproduct-strategyvisual-searchneuro
Яндекс
Продуктовые кейсыMedium
Агрегация нескольких фото товара

У товара может быть несколько фотографий: общий вид, детали, разные ракурсы. Как получить устойчивое представление товара для поиска по фото?

visual-searchembeddingsАгрегацияcatalog
Wildberries
Продуктовые кейсыMedium
Глубокий разбор мультимодального fashion-рекомендера совместимых вещей

Разберите мультимодальный fashion-рекомендер совместимых вещей: генерацию кандидатов, эмбеддинги, разметку образов, hard negatives, reranking и то, что не сработало.

RecSysFashionCLIPmultimodal embeddingstriplet loss
Fairmarkit
Продуктовые кейсыMedium
Две неоднородные веревки и 45 минут

Есть две одинаковые неоднородные веревки. Каждая полностью сгорает за 60 минут, но скорость горения по длине неизвестна. Есть зажигалка. Как отмерить 45 минут?

math-puzzlereasoninginvariantsoral-math
Adapty
Продуктовые кейсыMedium
Как Redis обрабатывает команды и сохраняет атомарность

Как Redis обрабатывает запросы внутри и за счет чего отдельные команды выглядят атомарными и согласованными для клиента?

Redisatomicityevent loopsingle-threaded
GamerAM
Продуктовые кейсыMedium
Как адаптировать имеющуюся модель под новые задачи

Как адаптировать имеющуюся модель под новые задачи? Какие варианты вы бы рассмотрели и от чего зависит выбор?

fine-tuningadapterstransfer learningmodel heads
Wisebits / xHamster
Продуктовые кейсыMedium
Как версионировать артефакты LLM-агента

Агент генерирует презентации/таблицы/документы. Как хранить версии артефактов и поддерживать откат/редактирование?

Версионирование артефактовLLM-агентыУправление состояниемsystem-design
Unimatch
Продуктовые кейсыMedium
Какие события класть в Kafka и как партиционировать

Для realtime CTR dashboard нужно описать Kafka/event log. Какая схема события нужна и по какому ключу партиционировать?

kafkaПотоковая обработкаpartitioningads
Компания не указана
Продуктовые кейсыMedium
Когда переписывать ML/inference платформу из-за техдолга

Когда накопившийся технический долг оправдывает переписывание сервиса или ML-платформы с нуля, а когда лучше улучшать систему итеративно?

technical debtplatform rewriteНадежностьdeveloper velocity
GamerAM
Продуктовые кейсыMedium
Переранжирование и разнообразие в fashion-рекомендациях item-to-item

Fashion item-to-item рекомендации возвращают много почти одинаковых вещей. Как разделить ответственность retrieval, ranking и reranking, чтобы сохранить релевантность и добавить разнообразие?

RecSysrerankingdiversityFashionCLIP
T-Bank
Продуктовые кейсыMedium
Состояние артефакта и маршрутизация команд пользователя

Пользователь создал презентацию, PDF и таблицу, а потом просит "отсортируй это". Как понять, к чему относится команда?

Артефактыsession stateroutingLLM-агенты
Unimatch
Продуктовые кейсыHard
CV для робота-кассира в столовой

Есть робот-кассир: пользователь ставит поднос с едой, система делает фото и за пару секунд должна распознать блюда и сформировать чек. Как спроектировать ML-систему?

computer-visionobject-detectionfood-recognitionlatency
CV catering
Продуктовые кейсыHard
Как повторить плохо описанный протокол

Проекту нужно повторить плохо документированный legacy-протокол. Как подойти к исследованию и реализации, если часть поведения приходится восстанавливать по трафику и старой системе?

protocolsreverse-engineeringbackendresearch-engineering
Мультифактор
Продуктовые кейсыHard
Как проверять качество биржевых market data

Есть поток биржевых событий: price, exchange timestamp, local timestamp и два канала доставки primary/secondary. Как понять, все ли в порядке с данными?

hftmarket-datadata-qualitytimestamps
Wunderfund
Продуктовые кейсыHard
Отказоустойчивая Kafka-очередь

Как на уровне Kafka/очереди рассуждать про replication, min.insync.replicas, acknowledgements и CAP trade-off, если нужно не терять сообщения при отказах?

kafkafault-tolerancedistributed-systemsreplication
Мультифактор
Продуктовые кейсыHard
Отказоустойчивость в двух дата-центрах

Система развернута в двух дата-центрах, целевой SLA выше 99.95. Какие архитектурные решения помогают не уронить весь продукт при отказе одного узла или сервиса?

fault-tolerancedistributed-systemsslaresilience-patterns
Мультифактор
Математика и статистикаEasy
Условная вероятность: кошки тяжелее 5 кг

Есть 100 собак и 100 кошек. 50 собак и 40 кошек весят больше 5 кг. Пусть B — животное является кошкой, A — животное весит больше 5 кг. Найдите P(A | B).

conditional probabilityBayes basicsВероятностьМатематика
inDrive
Математика и статистикаMedium
Reservoir sampling: один равномерный элемент из потока

Опишите алгоритм reservoir sampling для одного элемента из потока и объясните, почему каждый увиденный элемент выбирается с одинаковой вероятностью.

reservoir samplingПотоковая обработкаrandomized algorithmsproof by induction
Navio
Математика и статистикаMedium
Закон больших чисел, ЦПТ и распределение выборочного среднего

Объясните закон больших чисел и центральную предельную теорему. Что получится с распределением среднего, если много раз брать подвыборки по 100 наблюдений и считать среднее?

law of large numberscentral limit theoremsample meannormal approximation
inDrive
Математика и статистикаMedium
Честная монетка из нечестной

Есть монетка с неизвестной вероятностью орла p, 0 < p < 1. Как получить честный случайный бит 0/1, используя броски этой нечестной монетки?

ВероятностьСлучайностьvon-neumann-extractorСимметрия
Dubai Tech
Behavioral InterviewEasy
Из каких этапов состоит современная рекомендательная система

Из каких двух основных этапов обычно состоит рекомендательная система? Объясните candidate generation и ranking коротко, но не поверхностно.

recsyscandidate-generationРанжированиеfundamentals
Dodo
Behavioral InterviewEasy
Нужно ли DS понимать бизнес-логику продукта

Насколько важно дата-сайентисту понимать бизнес-логику того, как пользователи попали в приложение? Достаточно ли просто событий из базы?

business-contextfeaturesproduct-analyticsdata-quality
Almus
Behavioral InterviewMedium
Как объяснить точность LTV для маркетинга

Мы посчитали LTV, например 37.37. Маркетолог спрашивает, насколько этому числу можно доверять, потому что от него зависит покупка трафика. Как ответить?

ltvuncertaintyconfidence-intervalmarketing
Adapty
Behavioral InterviewMedium
Как построить рекомендации треков по истории прослушиваний

Есть только история взаимодействий пользователей с треками. Как построить первую рекомендательную систему?

collaborative filteringmusic recsysimplicit feedbackcold start
Звук
Behavioral InterviewMedium
Какие бизнес-метрики обсуждать со стейкхолдером marketplace ML задачи

PM приходит с marketplace ML задачей: улучшить цену, рекомендацию или промо-блок объявления. Какие вопросы и метрики нужно обсудить до выбора модели?

marketplacebusiness-metricsstakeholdersrecsys
OLX
Behavioral InterviewMedium
Какие внешние сигналы брать для более качественного прогноза

Если не смотреть только на продуктовые события внутри приложения, какие сигналы стоит получить у стейкхолдеров, чтобы улучшить прогноз или рекомендационную систему?

recsysfeaturesstakeholdersmarketing
Almus
Behavioral InterviewMedium
Какие ранние признаки отличают потенциального VIP

Игрок только пришел в casino-продукт. Какие признаки можно собрать в первые дни, чтобы отличить потенциального VIP от обычного игрока?

feature-engineeringcasinobehavioral-signalsclassic-ml
MrBit
Банк вопросов из реальных собеседований — ML Mentor