MosaicFusion: Diffusiemodellen als data-augmentors voor grootschalige vocabulaire instantiesegmentatie

MosaicFusion: Diffusion Models as Data Augmenters for Large Vocabulary Instance Segmentation

September 22, 2023

Auteurs: Jiahao Xie, Wei Li, Xiangtai Li, Ziwei Liu, Yew Soon Ong, Chen Change Loy

cs.AI

Samenvatting

We presenteren MosaicFusion, een eenvoudige maar effectieve data-augmentatiebenadering op basis van diffusie voor instance segmentation met een grote woordenschat. Onze methode is trainingsvrij en maakt geen gebruik van enige labelsupervisie. Twee belangrijke ontwerpkeuzes stellen ons in staat om een standaard tekst-naar-beeld diffusiemodel in te zetten als een nuttige datasetgenerator voor objectinstanties en maskerannotaties. Ten eerste verdelen we een beeldcanvas in meerdere regio's en voeren we een enkele ronde van het diffusieproces uit om meerdere instanties tegelijkertijd te genereren, gebaseerd op verschillende tekstprompts. Ten tweede verkrijgen we de bijbehorende instantiemaskers door cross-attention maps die geassocieerd zijn met objectprompts over lagen en diffusietijdstappen te aggregeren, gevolgd door eenvoudige drempelwaardebepaling en edge-aware verfijning. Zonder overbodige toevoegingen kan onze MosaicFusion een aanzienlijke hoeveelheid synthetische gelabelde data produceren voor zowel zeldzame als nieuwe categorieën. Experimentele resultaten op de uitdagende LVIS long-tailed en open-vocabulary benchmarks tonen aan dat MosaicFusion de prestaties van bestaande instance segmentation-modellen aanzienlijk kan verbeteren, vooral voor zeldzame en nieuwe categorieën. De code zal worden vrijgegeven op https://github.com/Jiahao000/MosaicFusion.

English

We present MosaicFusion, a simple yet effective diffusion-based data augmentation approach for large vocabulary instance segmentation. Our method is training-free and does not rely on any label supervision. Two key designs enable us to employ an off-the-shelf text-to-image diffusion model as a useful dataset generator for object instances and mask annotations. First, we divide an image canvas into several regions and perform a single round of diffusion process to generate multiple instances simultaneously, conditioning on different text prompts. Second, we obtain corresponding instance masks by aggregating cross-attention maps associated with object prompts across layers and diffusion time steps, followed by simple thresholding and edge-aware refinement processing. Without bells and whistles, our MosaicFusion can produce a significant amount of synthetic labeled data for both rare and novel categories. Experimental results on the challenging LVIS long-tailed and open-vocabulary benchmarks demonstrate that MosaicFusion can significantly improve the performance of existing instance segmentation models, especially for rare and novel categories. Code will be released at https://github.com/Jiahao000/MosaicFusion.