Где в Transformer применяется Mixture of Experts
В MoE LLM где обычно находится Mixture of Experts: в каком слое Transformer и зачем это делают?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.