Банк вопросов из реальных собеседований

Как оценивать качество поиска или RAG-системы offline и online?

Какие офлайн-, онлайн- и защитные метрики выбрать для A/B-теста динамической стоимости доставки?

Проектируем ML для поиска на маркетплейсе. Какие бизнес, online и offline метрики выбрать?

Какие метрики использовать в маркетплейсе, где клики, контакты, сделки и распределение показов между продавцами отражают разные цели?

Какие офлайн-, онлайн- и защитные метрики подходят блоку рекомендаций в корзине, если клик ещё не означает покупку?

A production service already has data, but you need to change the database schema. Describe a safe migration process.

Design a basic multi-head attention block in PyTorch. What tensors do Q, K and V have, when do you split heads, and what common shape mistakes should you avoid?

Explain the difference between a Kubernetes pod, service, deployment and node.

Explain the difference between a Kubernetes pod, service, deployment and node.

Explain the difference between a Kubernetes pod, service, deployment and node.

Explain the difference between a Kubernetes pod, service, deployment and node.

What is data drift, how would you detect it in production, and what can you do when it starts hurting an ML model?

Какие логи, метрики и алерты нужны после запуска рекомендательной модели?

Расскажи, какие классы моделей есть в рекомендательных системах и где они обычно применяются.

You have a multi-GPU server and want to host one or more open-source LLMs. What software stack and design choices would you use?

Корзина меняется в текущей сессии. Как сервис рекомендаций должен учитывать добавление и удаление товаров, инвалидировать кеш и выбирать резервный ответ?

Как оценить требуемый объём данных для распознавания аудиособытий и решить, когда устройству следует включать более дорогой режим обработки?

What does it mean to take an ML model from training to production, and which pieces should an ML engineer be able to own?

Где возникают основные затраты и ошибки при создании симуляций редких сценариев и как безопасно использовать их в поисковой модели?

Какие подходы к рекомендациям можно использовать и как выбирать между заранее посчитанными результатами и онлайн-инференсом, если важны задержка, RPS и качество?

Как организовать онлайн-инференс тяжёлой рекомендательной модели и уложиться в заданный бюджет задержки?

Модели стоимости доставки нужен свежий признак нагрузки курьеров. Из каких событий и состояний его рассчитывать, чтобы использовать непосредственно в момент принятия решения?

A neural network inference pipeline is too slow. What optimizations would you consider before changing the model architecture?

Как последовательно оптимизировать маршрутизацию, пакетирование, задержку, пропускную способность и стоимость сервиса языковой модели?