MosaicFusion: Diffusionsmodelle als Datenverstärker für die Instanzsegmentierung mit großem Vokabular

MosaicFusion: Diffusion Models as Data Augmenters for Large Vocabulary Instance Segmentation

September 22, 2023

Autoren: Jiahao Xie, Wei Li, Xiangtai Li, Ziwei Liu, Yew Soon Ong, Chen Change Loy

cs.AI

Zusammenfassung

Wir präsentieren MosaicFusion, einen einfachen, aber effektiven, auf Diffusion basierenden Ansatz zur Datenaugmentierung für die Instanzsegmentierung mit großem Vokabular. Unsere Methode ist trainingsfrei und benötigt keine Label-Supervision. Zwei Schlüsseldesigns ermöglichen es uns, ein Standard-Text-zu-Bild-Diffusionsmodell als nützlichen Datensatzgenerator für Objektinstanzen und Maskenanmerkungen einzusetzen. Erstens teilen wir eine Bildfläche in mehrere Regionen auf und führen eine einzelne Runde des Diffusionsprozesses durch, um mehrere Instanzen gleichzeitig zu generieren, die auf verschiedenen Textprompts basieren. Zweitens erhalten wir entsprechende Instanzmasken, indem wir Cross-Attention-Maps, die mit Objektprompts über Schichten und Diffusionszeitpunkte verknüpft sind, aggregieren, gefolgt von einfacher Schwellwertbildung und kantenbewusster Nachbearbeitung. Ohne Schnickschnack kann unser MosaicFusion eine beträchtliche Menge an synthetischen, gelabelten Daten sowohl für seltene als auch für neue Kategorien erzeugen. Experimentelle Ergebnisse auf den anspruchsvollen LVIS-Benchmarks für langschwänzige und offene Vokabulare zeigen, dass MosaicFusion die Leistung bestehender Instanzsegmentierungsmodelle erheblich verbessern kann, insbesondere für seltene und neue Kategorien. Der Code wird unter https://github.com/Jiahao000/MosaicFusion veröffentlicht.

English

We present MosaicFusion, a simple yet effective diffusion-based data augmentation approach for large vocabulary instance segmentation. Our method is training-free and does not rely on any label supervision. Two key designs enable us to employ an off-the-shelf text-to-image diffusion model as a useful dataset generator for object instances and mask annotations. First, we divide an image canvas into several regions and perform a single round of diffusion process to generate multiple instances simultaneously, conditioning on different text prompts. Second, we obtain corresponding instance masks by aggregating cross-attention maps associated with object prompts across layers and diffusion time steps, followed by simple thresholding and edge-aware refinement processing. Without bells and whistles, our MosaicFusion can produce a significant amount of synthetic labeled data for both rare and novel categories. Experimental results on the challenging LVIS long-tailed and open-vocabulary benchmarks demonstrate that MosaicFusion can significantly improve the performance of existing instance segmentation models, especially for rare and novel categories. Code will be released at https://github.com/Jiahao000/MosaicFusion.