MosaicFusion: Modelos de Difusión como Aumentadores de Datos para la Segmentación de Instancias con Gran Vocabulario

MosaicFusion: Diffusion Models as Data Augmenters for Large Vocabulary Instance Segmentation

September 22, 2023

Autores: Jiahao Xie, Wei Li, Xiangtai Li, Ziwei Liu, Yew Soon Ong, Chen Change Loy

cs.AI

Resumen

Presentamos MosaicFusion, un enfoque simple pero efectivo de aumento de datos basado en difusión para la segmentación de instancias con vocabulario extenso. Nuestro método no requiere entrenamiento y no depende de supervisión de etiquetas. Dos diseños clave nos permiten emplear un modelo de difusión de texto a imagen estándar como un generador útil de conjuntos de datos para instancias de objetos y anotaciones de máscaras. Primero, dividimos un lienzo de imagen en varias regiones y realizamos una única ronda de proceso de difusión para generar múltiples instancias simultáneamente, condicionando con diferentes indicaciones de texto. Segundo, obtenemos las máscaras de instancia correspondientes agregando mapas de atención cruzada asociados con las indicaciones de objetos a través de capas y pasos de difusión, seguidos de un umbralizado simple y un procesamiento de refinamiento consciente de bordes. Sin elementos adicionales, nuestro MosaicFusion puede producir una cantidad significativa de datos sintéticos etiquetados tanto para categorías raras como novedosas. Los resultados experimentales en los desafiantes benchmarks LVIS de cola larga y vocabulario abierto demuestran que MosaicFusion puede mejorar significativamente el rendimiento de los modelos existentes de segmentación de instancias, especialmente para categorías raras y novedosas. El código se publicará en https://github.com/Jiahao000/MosaicFusion.

English

We present MosaicFusion, a simple yet effective diffusion-based data augmentation approach for large vocabulary instance segmentation. Our method is training-free and does not rely on any label supervision. Two key designs enable us to employ an off-the-shelf text-to-image diffusion model as a useful dataset generator for object instances and mask annotations. First, we divide an image canvas into several regions and perform a single round of diffusion process to generate multiple instances simultaneously, conditioning on different text prompts. Second, we obtain corresponding instance masks by aggregating cross-attention maps associated with object prompts across layers and diffusion time steps, followed by simple thresholding and edge-aware refinement processing. Without bells and whistles, our MosaicFusion can produce a significant amount of synthetic labeled data for both rare and novel categories. Experimental results on the challenging LVIS long-tailed and open-vocabulary benchmarks demonstrate that MosaicFusion can significantly improve the performance of existing instance segmentation models, especially for rare and novel categories. Code will be released at https://github.com/Jiahao000/MosaicFusion.