В LLM serving есть несколько GPU-воркеры. Почему наивная round-robin маршрутизация может быть неэффективным, и как спроектировать адаптивный слой маршрутизации, который учитывает запас GPU-памяти и переиспользование KV cache?
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Все вопросы
737 вопросов из реальных интервью
Нужно построить систему, которая извлекает полезные поля из PDF-инвойсов разных поставщиков. Какую архитектуру выбрать?
Как онлайн проверять новую модель выбора контрольных вопросов, если ошибка может пропустить мошенника или заблокировать клиента?
How would you build item embeddings from text, images/video and categorical/numerical attributes under real serving constraints?
После градиентного бустинга какую нейросетевую архитектуру можно проверить для последовательных данных и от каких свойств задачи зависит выбор?
В международном поиске нужно показывать короткое описание объекта в карточке ответа, например для Китая. Как построить ML-систему генерации таких описаний?
Design a semantic search layer for geo/address suggestions where users can type categories like "cafe" and expect restaurants, POIs and relevant addresses across many languages.
Какие решения по единице индекса, обновлению, фильтрам и оценке нужно завершить до добавления повторного ранжировщика?
Как построить датасет для модели, которая оценивает реакцию пользователя на стоимость доставки или минимальную сумму заказа?
Как независимо кодировать текст и дорожный сегмент, построить векторный индекс и обучить быстрый поиск кандидатов?
Как спроектировать candidate generation и ranking для подбора поставщиков под закупочную заявку в маркетплейсе корпоративных закупок?
Как спроектировать candidate generation и ranking для подбора поставщиков под закупочную заявку в маркетплейсе корпоративных закупок?
Есть DSSM-подобная модель, обученная на сессиях кликов с исходным, положительным и отрицательным товаром. Как добавить текстовый эмбеддинг товара из LLM?
Модель должна работать на колонке или камере с CPU и ограничениями по задержке, приватности и энергопотреблению. Как спроектировать такое решение?
Как применить результаты восприятия, прогнозирования и карты из действующей системы автономного вождения для поиска дорожных сцен?
Что делать, если исторически стоимость доставки менялась редко и почти нет вариативности для обучения эластичности?
Исторические данные есть только по поставщикам, которых уже показывали или приглашали. Как понять и уменьшить selection bias, и как обращаться с losing bids?
LLM извлекает признаки из PDF-отчета: например, будущий план производства. Как проверить, что признак основан на документе, а не на внешних знаниях или догадках?
Нужно добавить LLM-агента в существующий продуктовый pipeline. Как спроектировать границы агента, tools, контекст, проверки и мониторинг?
Retriever вернул top-K чанков. Как выбрать финальный контекст для LLM и где нужен reranker?
Есть доменный поиск, где generic embeddings плохо работают. Как дообучить encoder и проверить, что retrieval стал лучше?
Есть прогноз производства по рудникам/активам. В отчетах компаний есть текст, планы роста, графики и будущие ожидания. Как использовать LLM, чтобы улучшить табличную модель, но не заменить ее полностью?
Юридические документы плохо режутся фиксированным окном. Как построить chunking для legal или enterprise RAG?
Есть база объявлений авто и якорное объявление. Нужно находить архивные объявления, где визуально другая машина: другой цвет, салон, колеса, кузов или ракурс. Как поставить задачу и обучить модель?