Gen2Det: Generieren um zu Detektieren

Gen2Det: Generate to Detect

December 7, 2023

Autoren: Saksham Suri, Fanyi Xiao, Animesh Sinha, Sean Chang Culatana, Raghuraman Krishnamoorthi, Chenchen Zhu, Abhinav Shrivastava

cs.AI

Zusammenfassung

Kürzlich haben Diffusionsmodelle Verbesserungen in der synthetischen Bildqualität sowie eine bessere Kontrolle bei der Generierung gezeigt. Wir motivieren und präsentieren Gen2Det, eine einfache modulare Pipeline, um synthetische Trainingsdaten für die Objekterkennung kostenlos zu erstellen, indem wir state-of-the-art Methoden zur geerdeten Bildgenerierung nutzen. Im Gegensatz zu bestehenden Arbeiten, die einzelne Objektinstanzen generieren und das Identifizieren von Vordergrundobjekten gefolgt vom Einfügen in andere Bilder erfordern, vereinfachen wir den Prozess, indem wir direkt szenenzentrierte Bilder erzeugen. Zusätzlich zu den synthetischen Daten schlägt Gen2Det auch eine Reihe von Techniken vor, um die generierten Daten optimal zu nutzen, darunter Bildfilterung auf Bild- und Instanzebene sowie ein verbessertes Trainingsrezept, um Unvollkommenheiten in der Generierung zu berücksichtigen. Mit Gen2Det zeigen wir deutliche Verbesserungen bei Aufgaben der Objekterkennung und -segmentierung unter verschiedenen Bedingungen, unabhängig von der verwendeten Erkennungsmethode. Im Long-Tailed-Detection-Setting auf LVIS verbessert Gen2Det die Leistung bei seltenen Kategorien erheblich und steigert gleichzeitig die Leistung bei anderen Kategorien signifikant, z.B. sehen wir eine Verbesserung von 2,13 Box AP und 1,84 Mask AP gegenüber dem Training nur mit realen Daten auf LVIS mit Mask R-CNN. Im Low-Data-Regime-Setting auf COCO verbessert Gen2Det kontinuierlich sowohl Box als auch Mask AP um 2,27 bzw. 1,85 Punkte. Im allgemeinsten Erkennungssetting zeigt Gen2Det weiterhin robuste Leistungssteigerungen, z.B. verbessert es die Box und Mask AP auf COCO um 0,45 bzw. 0,32 Punkte.

English

Recently diffusion models have shown improvement in synthetic image quality as well as better control in generation. We motivate and present Gen2Det, a simple modular pipeline to create synthetic training data for object detection for free by leveraging state-of-the-art grounded image generation methods. Unlike existing works which generate individual object instances, require identifying foreground followed by pasting on other images, we simplify to directly generating scene-centric images. In addition to the synthetic data, Gen2Det also proposes a suite of techniques to best utilize the generated data, including image-level filtering, instance-level filtering, and better training recipe to account for imperfections in the generation. Using Gen2Det, we show healthy improvements on object detection and segmentation tasks under various settings and agnostic to detection methods. In the long-tailed detection setting on LVIS, Gen2Det improves the performance on rare categories by a large margin while also significantly improving the performance on other categories, e.g. we see an improvement of 2.13 Box AP and 1.84 Mask AP over just training on real data on LVIS with Mask R-CNN. In the low-data regime setting on COCO, Gen2Det consistently improves both Box and Mask AP by 2.27 and 1.85 points. In the most general detection setting, Gen2Det still demonstrates robust performance gains, e.g. it improves the Box and Mask AP on COCO by 0.45 and 0.32 points.