Почему градиенты исчезают или взрываются и как активации, инициализация, нормализация, остаточные связи и clipping помогают обучению?
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Машинное обучение
129 вопросов из реальных интервью
Какие признаки подать в модель ранжирования товаров в поиске маркетплейса?
Как проходит информация через исходный Transformer: токенизация, позиционная информация, самовнимание с маской и перекрёстное внимание?
Design an approach for detecting and segmenting small periapical lesion instances in 3D dental CT scans with limited voxel-level labels and more tooth-level weak labels.
Как работает Distributed Data Parallel и почему параллельное объединение готовых градиентов с вычислением более ранних слоёв ускоряет обучение?
Что такое KV-кеш, как он устраняет повторный расчёт прошлых токенов при авторегрессионной генерации и сколько памяти занимает?
Пользователь отправляет картинку и короткий текстовый запрос. Как переписать это в поисковый запрос, который лучше работает с существующим поиском?
Какие проблемы есть у in-batch negatives и как обучать embeddings объявлений, если пользовательских действий еще нет?
Что такое self-distillation и зачем модель учить на собственных предсказаниях? Как устроен teacher-student подход в DINO?
Почему UCB может быть плохой идеей при 1000 actions и горизонте 2000 или 20 шагов? Что делать вместо этого?
Большая VLM неплохо распознает блюда, если дать ей фото и меню, но отвечает десятки секунд. Как использовать такую модель в продукте с жестким latency?
Нужно построить систему, которая извлекает полезные поля из PDF-инвойсов разных поставщиков. Какую архитектуру выбрать?
Как использовать приближённый векторный поиск, сегментацию пользователей и специализированные текстовые или визуальные эмбеддинги для улучшения ленты?
Есть много фотографий ресторана и фиксированные категории еды. Как выбрать наиболее подходящее фото для категории в поисковой выдаче?
Как при ограниченной ручной разметке собрать и проверить датасет для ИНН, сумм, дат и назначения платежа во множестве банковских форматов?
Какие сущности занимают память GPU при обучении LLM и почему KV-кеш обычно нужен при генерации, а не при обучении?
Есть числовые, категориальные и поведенческие признаки пользователя и товара. Как превратить их во вход трансформера?
Пользователь пишет свободный текстовый запрос по недвижимости, в котором могут быть частые атрибуты и редкие бытовые детали. Как превратить такой запрос в кандидатов через структурированные атрибуты, полнотекстовый поиск и векторный поиск?
For punctuation restoration, why might a BERT-style encoder with token labels be preferable to autoregressive generation, and what tokenization issues must you handle?
Как обучить двухбашенную модель с текстовыми и визуальными признаками по взаимодействиям пользователей с публикациями?
How would you train the ranker for real-estate search, choose negatives, and blend paid monetized listings without destroying relevance?
Как извлекать и использовать цветовые атрибуты при поиске по фотографии, если заранее закрыть словарь всех оттенков невозможно?
Сейчас на странице конкретного автомобиля все видят одинаковые межтоварные рекомендации. Как добавить персонализацию, сохранить связь с исходным объявлением и не выйти за бюджет задержки?
Модель временного ряда показывает высокое качество на отложенных данных, но не работает в реальности. Какие причины нужно проверить первыми?