ЕвроХим: как собрать примеры редких опасных событий
Для обучения не хватает кадров пожаров и нарушений техники безопасности. Команда использует синтетические изображения и готовые модели для быстрых прототипов.
Слайды · на русском
Использование Zero-shot и искусственных данных в проектах по компьютерному зрениюОткрыть оригинальные слайдыДмитрий Колесников, Industrial++ 2024 · Опубликовано: 22 октября 2024 г.
Данные нельзя просто доснять
Устраивать опасные события ради датасета нельзя. В Fooocus команда меняет часть существующего изображения: добавляет признаки пожара, нарушения ношения защиты или недостающие цвета касок.
Слайд 6: исходное фото и синтетическое изменение цвета каски.
Источник: ЕвроХим / ЦТиПЧто получилось измерить
На слайде 21: датасет пожаров увеличен в пять раз, mAP@0.5 детектора очагов — 0,84; recall класса нарушений вырос с 0,63 до 0,91. Состав тестовой выборки здесь не раскрыт, поэтому числа не доказывают такую же надёжность на реальном производственном потоке.
Слайд 21: заявленные результаты автора.
Источник: ЕвроХим / ЦТиПБыстрая проверка идеи без своего обучения
Zero-shot означает применение предобученной модели к новой задаче через описание нужных объектов. CLIP сравнивает изображение с текстами классов; Grounding DINO находит рамки, SAM по этим рамкам выделяет контуры.
Слайд 35: поиск объектов и последующее выделение масок.
Источник: ЕвроХим / ЦТиПОт прототипа к работе с данными
Автор показывает PoC распознавания номеров за две недели и контроля средств защиты за месяц. Также описаны гранулометрия с уменьшенной SAM и AutoCVAT для разметки. Это разбор полных слайдов; сроки прототипов не обозначают сроки промышленного внедрения.
Слайд 37: сроки двух прототипов.
Источник: ЕвроХим / ЦТиП