Почему даже с FlashAttention обучение на сотнях тысяч токенов может не помещаться в GPU и какие классы решений уменьшают память и вычисления?
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Машинное обучение
129 вопросов из реальных интервью
Что нужно проверить в построении признаков и разбиении временного ряда, чтобы найти утечку будущих данных?
Одна из голов многометочной модели работает плохо. Как проверить признаки, разметку, временную обработку и собрать полезные сложные примеры?
Есть много дорожных логов без меток и мало примеров редких событий. Какие задачи самообучения помогут подготовить последовательную модель?
Как работает масштабированное скалярное внимание, какова его вычислительная сложность и что меняют GQA, MQA и ограниченное окно внимания?
Компания строит текстовые профили пользователей по их истории с помощью генеративной модели. Как безопасно использовать такие профили в поиске кандидатов и ранжировании?
Спроектируйте систему, которая ищет в интернете потенциальные нарушения бренда и фильтрует массу нерелевантных результатов для 1000+ клиентов.
Как сформулировать целевую переменную для прогноза будущего движения средней цены по сделкам и биржевому стакану?
Whisper performs poorly on a target language such as Vietnamese or Uzbek. How would you adapt the system and collect data for this appointment-extraction task?