CV-модель на edge-устройстве
Что важно при запуске CV-модели на edge-устройстве или VR-гарнитуре?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Нужно уложиться в latency, memory и power budget: экспорт ONNX/TensorRT/CoreML, quantization/distillation, profiling на устройстве и контроль качества после сжатия.
Полный разбор
Запуск на edge-устройстве начинается с бюджета: сколько миллисекунд на кадр, какое разрешение, сколько памяти, какая батарея и какие аппаратные ускорители доступны. Архитектура, которая хороша на серверной GPU, может быть непригодна для headset или mobile chip.
Обычно делают экспорт в ONNX/TensorRT/CoreML/TFLite, quantization FP16/INT8, pruning/distillation, уменьшение input resolution, tiled inference или lightweight backbone. После каждого сжатия нужно заново измерять качество, особенно на сложных slice: motion, occlusion, low light.
Для VR отдельно важны stereo/depth и pose. При повороте головы близкие объекты меняют видимый размер и положение сильнее дальних, поэтому depth-aware correction и стабильная геометрия могут быть важнее raw segmentation score.
Теория
Edge ML - это компромисс между качеством, latency, памятью и аппаратным форматом.
Типичные ошибки
- Мерить latency только на dev GPU.
- Сжимать модель без quality regression на целевых slice.
- Не учитывать stereo/depth геометрию VR.