Gen2Det: Gerar para Detectar

Gen2Det: Generate to Detect

December 7, 2023

Autores: Saksham Suri, Fanyi Xiao, Animesh Sinha, Sean Chang Culatana, Raghuraman Krishnamoorthi, Chenchen Zhu, Abhinav Shrivastava

cs.AI

Resumo

Recentemente, os modelos de difusão têm mostrado melhorias na qualidade de imagens sintéticas, bem como um controle superior na geração. Motivamos e apresentamos o Gen2Det, um pipeline modular simples para criar dados de treinamento sintéticos para detecção de objetos de forma gratuita, aproveitando métodos de geração de imagens fundamentados no estado da arte. Diferentemente de trabalhos existentes que geram instâncias individuais de objetos, exigindo a identificação do primeiro plano seguida pela colagem em outras imagens, simplificamos o processo gerando diretamente imagens centradas em cenas. Além dos dados sintéticos, o Gen2Det também propõe um conjunto de técnicas para melhor utilizar os dados gerados, incluindo filtragem em nível de imagem, filtragem em nível de instância e uma receita de treinamento aprimorada para lidar com imperfeições na geração. Usando o Gen2Det, mostramos melhorias significativas em tarefas de detecção e segmentação de objetos em várias configurações, independentemente dos métodos de detecção. No cenário de detecção de cauda longa no LVIS, o Gen2Det melhora o desempenho em categorias raras por uma grande margem, enquanto também melhora significativamente o desempenho em outras categorias, por exemplo, observamos uma melhoria de 2,13 Box AP e 1,84 Mask AP em relação ao treinamento apenas com dados reais no LVIS com Mask R-CNN. No cenário de baixo volume de dados no COCO, o Gen2Det melhora consistentemente tanto o Box AP quanto o Mask AP em 2,27 e 1,85 pontos, respectivamente. No cenário mais geral de detecção, o Gen2Det ainda demonstra ganhos robustos de desempenho, por exemplo, melhora o Box AP e o Mask AP no COCO em 0,45 e 0,32 pontos, respectivamente.

English

Recently diffusion models have shown improvement in synthetic image quality as well as better control in generation. We motivate and present Gen2Det, a simple modular pipeline to create synthetic training data for object detection for free by leveraging state-of-the-art grounded image generation methods. Unlike existing works which generate individual object instances, require identifying foreground followed by pasting on other images, we simplify to directly generating scene-centric images. In addition to the synthetic data, Gen2Det also proposes a suite of techniques to best utilize the generated data, including image-level filtering, instance-level filtering, and better training recipe to account for imperfections in the generation. Using Gen2Det, we show healthy improvements on object detection and segmentation tasks under various settings and agnostic to detection methods. In the long-tailed detection setting on LVIS, Gen2Det improves the performance on rare categories by a large margin while also significantly improving the performance on other categories, e.g. we see an improvement of 2.13 Box AP and 1.84 Mask AP over just training on real data on LVIS with Mask R-CNN. In the low-data regime setting on COCO, Gen2Det consistently improves both Box and Mask AP by 2.27 and 1.85 points. In the most general detection setting, Gen2Det still demonstrates robust performance gains, e.g. it improves the Box and Mask AP on COCO by 0.45 and 0.32 points.