Как будет выглядеть runtime pipeline для новой закупочной заявки и что делать с новыми заказчиками, новыми поставщиками и редкими категориями?
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Проектирование ML-систем
274 вопроса из реальных интервью
Если embeddings, scores или recommendation lists считаются offline и лежат в S3/DWH, как безопасно передать эти результаты backend/serving-слою?
Как визуальный энкодер превращает изображение в токены и как они подключаются к языковой модели вместе с текстом?
Модель уже умеет предсказывать вероятность возврата. Как ее применить в продукте и где хранить признаки?
Explain how LLM tool/function calling works end to end: tool schema in the prompt, model output, real tool execution and final user response.
Команда хочет добавить новые признаки или модель в ранжирующий сервис. Как сделать это безопасно?
Для статьи нужно показать короткие suggest-вопросы или подсказки. Как получить их из текста статьи и не ухудшить качество поиска?
Как сравнивать модели прогноза, если LLM-extractor может знать будущие факты из pretraining?
Как оценивали качество: насколько хорошо получается вести диалог, отвечать на вопрос или искать нужные документы?
Как понять, что система поиска по статьям или RAG работает хорошо? Какие offline и online метрики использовать?
В casino-продукте sales-команде нужно как можно раньше понять, станет ли новый игрок VIP по депозитам и обороту. Как сформулировать ML-задачу, target, горизонт прогноза и бизнес-действие?
Как технически построить модель, которая по аудио определяет событие: лай собаки, звук двери, разбитое стекло и похожие классы?
Нужно построить систему, где рекламодатель смотрит CTR кампаний. Дано 200 млрд показов в день и CTR около 1%. Как начать system design с чисел?
В продукте есть база статей. Пользователь может видеть подсказки или задавать свободный вопрос. Как разделить эти два режима в дизайне поиска?
Для moderation-модели нужны классы и данные. Как собрать labels, обработать дисбаланс и не смешать разные политики в один шумный датасет?
Fairmarkit -- маркетплейс для корпоративных закупок: заказчик создает заявку, а система предлагает подходящих поставщиков. Как сформулировать ML-задачу подбора поставщиков перед выбором модели?
Нужно развернуть сервис модерации текста на BERT/DistilBERT. Как спроектировать input/output, policy layer, thresholds и routing actions?
Если пользователь добавил кольцо, стоит ли рекомендовать еще кольца? Как сформулировать цель и ограничения для рекомендаций в корзине?
Ты упомянул сезонность. Как с ней работать в фичах для рекомендационных систем, прогнозов или продуктовой аналитики?
Клиент видит стоимость доставки или порог бесплатной доставки в корзине. Каталог и корзина меняются, но на оформлении заказа нельзя неожиданно показать другую цену. Как организовать пересчёт и провести границу между точностью, задержкой и стоимостью?
Что получает языковая модель на входе, что возвращает на одном шаге и как из этого получается последовательность ответа?
Какую архитектуру эмбеддингов вы построили для RAG: обычный retrieval pipeline или что-то сложнее?
Модель модерации работает в production. Какие метрики смотреть offline, online и после запуска, чтобы контролировать качество и нагрузку на ручную проверку?
После базовых latency-вопросов интервьюер спрашивает: какие еще аномалии можно заметить в market-data файле?