Gen2Det: Генерация для детекции

Gen2Det: Generate to Detect

December 7, 2023

Авторы: Saksham Suri, Fanyi Xiao, Animesh Sinha, Sean Chang Culatana, Raghuraman Krishnamoorthi, Chenchen Zhu, Abhinav Shrivastava

cs.AI

Аннотация

В последнее время диффузионные модели продемонстрировали улучшение качества синтетических изображений, а также более точный контроль в процессе генерации. Мы представляем Gen2Det — простой модульный конвейер для создания синтетических данных для обучения моделей обнаружения объектов, используя современные методы генерации изображений с привязкой к контексту. В отличие от существующих подходов, которые генерируют отдельные объекты и требуют их выделения с последующим вставлением на другие изображения, наш метод упрощает процесс, напрямую создавая сценоцентричные изображения. Помимо синтетических данных, Gen2Det также предлагает набор техник для оптимального использования сгенерированных данных, включая фильтрацию на уровне изображений, фильтрацию на уровне объектов и улучшенный рецепт обучения для учета несовершенств генерации. С помощью Gen2Det мы демонстрируем значительные улучшения в задачах обнаружения и сегментации объектов в различных условиях, независимо от используемых методов обнаружения. В условиях длинного хвоста на наборе данных LVIS Gen2Det значительно улучшает производительность на редких категориях, одновременно повышая результаты и на других категориях. Например, мы наблюдаем улучшение на 2.13 Box AP и 1.84 Mask AP по сравнению с обучением только на реальных данных с использованием Mask R-CNN. В условиях ограниченного количества данных на COCO Gen2Det стабильно улучшает Box и Mask AP на 2.27 и 1.85 балла соответственно. В наиболее общем сценарии обнаружения Gen2Det также демонстрирует устойчивый прирост производительности, например, улучшая Box и Mask AP на COCO на 0.45 и 0.32 балла.

English

Recently diffusion models have shown improvement in synthetic image quality as well as better control in generation. We motivate and present Gen2Det, a simple modular pipeline to create synthetic training data for object detection for free by leveraging state-of-the-art grounded image generation methods. Unlike existing works which generate individual object instances, require identifying foreground followed by pasting on other images, we simplify to directly generating scene-centric images. In addition to the synthetic data, Gen2Det also proposes a suite of techniques to best utilize the generated data, including image-level filtering, instance-level filtering, and better training recipe to account for imperfections in the generation. Using Gen2Det, we show healthy improvements on object detection and segmentation tasks under various settings and agnostic to detection methods. In the long-tailed detection setting on LVIS, Gen2Det improves the performance on rare categories by a large margin while also significantly improving the performance on other categories, e.g. we see an improvement of 2.13 Box AP and 1.84 Mask AP over just training on real data on LVIS with Mask R-CNN. In the low-data regime setting on COCO, Gen2Det consistently improves both Box and Mask AP by 2.27 and 1.85 points. In the most general detection setting, Gen2Det still demonstrates robust performance gains, e.g. it improves the Box and Mask AP on COCO by 0.45 and 0.32 points.