ML Mentor
К понятиям
LLM inference и serving

Mixture of Experts

Разреженная FFN-архитектура, активирующая часть экспертов для каждого токена.

MoEexpertsroutertop-k routing

Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.

Начать с вопросаСмотреть все формулировки

Что нужно уметь

  • Объяснить роутинг и балансировку нагрузки
  • Оценить память и стоимость обмена данными

Как эту тему спрашивают

Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.

Что должно быть в ответе

  • Роутер
  • Разреженная активация
  • Балансировка нагрузки и обмен данными