Северсталь: меньше ложных тревог при поиске дефектов
Детектор принимал загрязнения и блики на конвейере за повреждения. Команда переработала модель, данные и процесс разметки.
Статья · на русском
Новый взгляд на сталь. Тренды компьютерного зрения на службе металлургииОлег Карташев · Опубликовано: 19 декабря 2024 г.
Полноты недостаточно
Faster R-CNN находила дефекты, но перегружала оператора ложными тревогами. Фильтры по размерам и повторным наблюдениям не помогли. Команда попробовала DETR — модель, которая сразу предсказывает набор объектов.
Ложное срабатывание на изображении конвейерной ленты.
Источник: Северсталь
Схема DETR, приведённая автором.
Источник: СеверстальГотовые веса не решили задачу
Первые результаты DETR были хуже. Помогли собственное предварительное обучение на лентах, настройка обучения и пересмотр синтетических примеров. Объединение рамок через weighted boxes fusion дополнительно уменьшило ложные срабатывания без потери полноты.
График обучения из исходной статьи.
Источник: СеверстальНе только детекция
Для плотно расположенных объектов использовали StarDist, пришедшую из микроскопии. DINOv2 помогала находить группы похожих изображений. SAM подготавливала маски для CVAT; человек исправлял их. Напрямую использовать SAM мешали скорость и точность на конкретной задаче.
Оригинал: ДанныеСинтетика дополняет реальные данные
Повреждение переносили на другой фон, затем согласовывали вставку с изображением через диффузионную модель. Только синтетические данные работали хуже реальных. Добавление 25% синтетики дало ещё 7 пунктов F1 при тестировании на реальных изображениях; результат относится к этому эксперименту.
Пример переноса дефекта: исходные изображения, маска и результат.
Источник: Северсталь