Gen2Det: Generare per Rilevare

Gen2Det: Generate to Detect

December 7, 2023

Autori: Saksham Suri, Fanyi Xiao, Animesh Sinha, Sean Chang Culatana, Raghuraman Krishnamoorthi, Chenchen Zhu, Abhinav Shrivastava

cs.AI

Abstract

Recentemente, i modelli di diffusione hanno mostrato miglioramenti nella qualità delle immagini sintetiche, oltre a un maggiore controllo nella generazione. Proponiamo e motiviamo Gen2Det, una pipeline modulare semplice per creare dati di addestramento sintetici per il rilevamento di oggetti in modo gratuito, sfruttando metodi all'avanguardia per la generazione di immagini ancorate. A differenza dei lavori esistenti che generano singole istanze di oggetti, richiedendo l'identificazione del primo piano seguito dall'incollaggio su altre immagini, semplifichiamo il processo generando direttamente immagini centrate sulla scena. Oltre ai dati sintetici, Gen2Det propone anche una serie di tecniche per sfruttare al meglio i dati generati, inclusi filtri a livello di immagine, filtri a livello di istanza e una migliore ricetta di addestramento per tenere conto delle imperfezioni nella generazione. Utilizzando Gen2Det, mostriamo miglioramenti significativi nei compiti di rilevamento e segmentazione di oggetti in vari contesti, indipendentemente dai metodi di rilevamento utilizzati. Nell'ambito del rilevamento a coda lunga su LVIS, Gen2Det migliora notevolmente le prestazioni sulle categorie rare, migliorando anche significativamente le prestazioni su altre categorie, ad esempio osserviamo un miglioramento di 2,13 Box AP e 1,84 Mask AP rispetto al solo addestramento su dati reali su LVIS con Mask R-CNN. Nel contesto di bassa disponibilità di dati su COCO, Gen2Det migliora costantemente sia Box AP che Mask AP di 2,27 e 1,85 punti. Nel contesto più generale di rilevamento, Gen2Det dimostra comunque guadagni robusti nelle prestazioni, ad esempio migliora Box AP e Mask AP su COCO di 0,45 e 0,32 punti.

English

Recently diffusion models have shown improvement in synthetic image quality as well as better control in generation. We motivate and present Gen2Det, a simple modular pipeline to create synthetic training data for object detection for free by leveraging state-of-the-art grounded image generation methods. Unlike existing works which generate individual object instances, require identifying foreground followed by pasting on other images, we simplify to directly generating scene-centric images. In addition to the synthetic data, Gen2Det also proposes a suite of techniques to best utilize the generated data, including image-level filtering, instance-level filtering, and better training recipe to account for imperfections in the generation. Using Gen2Det, we show healthy improvements on object detection and segmentation tasks under various settings and agnostic to detection methods. In the long-tailed detection setting on LVIS, Gen2Det improves the performance on rare categories by a large margin while also significantly improving the performance on other categories, e.g. we see an improvement of 2.13 Box AP and 1.84 Mask AP over just training on real data on LVIS with Mask R-CNN. In the low-data regime setting on COCO, Gen2Det consistently improves both Box and Mask AP by 2.27 and 1.85 points. In the most general detection setting, Gen2Det still demonstrates robust performance gains, e.g. it improves the Box and Mask AP on COCO by 0.45 and 0.32 points.