К понятиям
LLM inference и serving

Prefill и decode

Две фазы LLM inference с разными профилями вычислений и latency.

prefilldecodeTTFTTPOT

Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.

Что нужно уметь

  • Связать prefill с TTFT
  • Связать decode с TPOT и memory bandwidth

Как эту тему спрашивают

Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.

Что должно быть в ответе

  • Prefill обрабатывает входной контекст
  • Decode идёт по токену
  • Ограничение вычислениями или пропускной способностью памяти