LLM математические вычисления и квантование памяти для модели 72B
A 72B-parameter LLM is served on an A100 80GB. Оцените, подходит ли FP16, и объясните, какие изменения в квантовании.
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.