Gen2Det: Genereren om te Detecteren

Gen2Det: Generate to Detect

December 7, 2023

Auteurs: Saksham Suri, Fanyi Xiao, Animesh Sinha, Sean Chang Culatana, Raghuraman Krishnamoorthi, Chenchen Zhu, Abhinav Shrivastava

cs.AI

Samenvatting

Onlangs hebben diffusiemodellen verbetering laten zien in de kwaliteit van synthetische afbeeldingen, evenals betere controle in de generatie. Wij introduceren en presenteren Gen2Det, een eenvoudige modulaire pijplijn om gratis synthetische trainingsdata te creëren voor objectdetectie door gebruik te maken van state-of-the-art methoden voor gegronde beeldgeneratie. In tegenstelling tot bestaande werken die individuele objectinstanties genereren en vereisen dat eerst de voorgrond wordt geïdentificeerd om deze vervolgens op andere afbeeldingen te plakken, vereenvoudigen wij dit door direct scène-centrische afbeeldingen te genereren. Naast de synthetische data stelt Gen2Det ook een reeks technieken voor om de gegenereerde data optimaal te benutten, waaronder beeldniveau-filtering, instantieniveau-filtering en een beter trainingsrecept om rekening te houden met imperfecties in de generatie. Met Gen2Det laten we aanzienlijke verbeteringen zien in objectdetectie- en segmentatietaken onder verschillende instellingen, onafhankelijk van de detectiemethode. In de long-tailed detectie-instelling op LVIS verbetert Gen2Det de prestaties op zeldzame categorieën aanzienlijk, terwijl ook de prestaties op andere categorieën significant worden verbeterd, bijvoorbeeld zien we een verbetering van 2.13 Box AP en 1.84 Mask AP ten opzichte van alleen trainen op echte data op LVIS met Mask R-CNN. In de low-data regime-instelling op COCO verbetert Gen2Det consistent zowel Box als Mask AP met respectievelijk 2.27 en 1.85 punten. In de meest algemene detectie-instelling toont Gen2Det nog steeds robuuste prestatieverbeteringen, bijvoorbeeld het verbetert de Box en Mask AP op COCO met 0.45 en 0.32 punten.

English

Recently diffusion models have shown improvement in synthetic image quality as well as better control in generation. We motivate and present Gen2Det, a simple modular pipeline to create synthetic training data for object detection for free by leveraging state-of-the-art grounded image generation methods. Unlike existing works which generate individual object instances, require identifying foreground followed by pasting on other images, we simplify to directly generating scene-centric images. In addition to the synthetic data, Gen2Det also proposes a suite of techniques to best utilize the generated data, including image-level filtering, instance-level filtering, and better training recipe to account for imperfections in the generation. Using Gen2Det, we show healthy improvements on object detection and segmentation tasks under various settings and agnostic to detection methods. In the long-tailed detection setting on LVIS, Gen2Det improves the performance on rare categories by a large margin while also significantly improving the performance on other categories, e.g. we see an improvement of 2.13 Box AP and 1.84 Mask AP over just training on real data on LVIS with Mask R-CNN. In the low-data regime setting on COCO, Gen2Det consistently improves both Box and Mask AP by 2.27 and 1.85 points. In the most general detection setting, Gen2Det still demonstrates robust performance gains, e.g. it improves the Box and Mask AP on COCO by 0.45 and 0.32 points.