На что уходит GPU memory при training LLM
На какие сущности уходит GPU memory при обучении LLM, и почему KV cache обычно используют на inference, а не на training?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.