TensorRT, ONNX, оптимизация графа и квантование
Объясните на высоком уровне, как TensorRT или аналогичные оптимизаторы вывода ускоряют работу нейронных сетей и почему квантование INT8 обычно требует калибровки.
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.