Как связать бизнес-метрики продукта с offline-метриками рекомендательной модели?
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Проектирование ML-систем
274 вопроса из реальных интервью
Какие способы строить предварительные токены применяются в обслуживании LLM и чем различаются их стоимость, память и зависимость от основной архитектуры?
Чем векторный поиск отличается от полнотекстовый поиск и почему часто нужен hybrid?
Как сравнивать архитектурные варианты recommender-системы и выбрать устойчивый вариант?
Как выбрать FAISS, HNSW-based CPU индекс, Redis, Qdrant или Elasticsearch для поиска ближайших embedding? Какие параметры и метрики смотреть?
Как выбирать промышленную модель цены или рекомендаций, если более сложный вариант показывает лучшую офлайн-метрику?
Есть модель отклика для нескольких вариантов условий доставки. Как по её прогнозам выбрать итоговую стоимость или минимальную сумму заказа?
В MoE LLM где обычно находится Mixture of Experts: в каком слое Transformer и зачем это делают?
Как построить архитектуру поиска: от первичных кандидатов до финального ранжирования?
Где провести границу между продуктовым backend, ML-сервисом, feature store и business rules?
Где заканчивается рекомендация по составу корзины и начинается персонализированный рекомендатель, использующий историю пользователя?
Курьеры закреплены за точкой и зоной, а ценовая система не управляет расписанием. Как это ограничение должно повлиять на дизайн ML-решения?
Какие группы признаков стоит назвать в RecSys ML System Design: user, item, context и инженерные фичи?
Где брать positive/negative examples для рекомендательной системы и что считать ground truth?
Где брать positive/negative examples для рекомендательной системы и что считать ground truth?
Как выбирать число предварительно предложенных токенов в спекулятивной генерации и почему слишком длинный блок может замедлить систему?
Какие слабые места есть у рекомендаций по совместной встречаемости товаров: длинный хвост, новые товары, смещение к популярному и недостаток новизны?
Чем доска объявлений отличается от интернет-магазина с точки зрения моделей цены, ранжирования и рекомендаций?
Почему похожее кольцо рядом с уже добавленным кольцом может быть хуже товара из дополняющей категории? Как различать заменители и дополнения?
Заказчик может удалить предложенных поставщиков и добавить своих. Как объяснить ценность рекомендательной системы в таком продукте и какие метрики из этого следуют?
What mechanisms would you add so important ML datasets do not disappear because of human error or operational mistakes?
Как объяснить ускорение FlashAttention через иерархию памяти GPU, не уходя в детали реализации ядер?
After ASR, how would you choose and evaluate an LLM that extracts branch, date and time as JSON from a call transcript?
Как внедрить тяжёлую визуально-языковую модель в продукт с ограничениями по задержке и стоимости?