MosaicFusion: Диффузионные модели как инструмент для расширения данных в задачах семантической сегментации с большим словарём объектов

MosaicFusion: Diffusion Models as Data Augmenters for Large Vocabulary Instance Segmentation

September 22, 2023

Авторы: Jiahao Xie, Wei Li, Xiangtai Li, Ziwei Liu, Yew Soon Ong, Chen Change Loy

cs.AI

Аннотация

Мы представляем MosaicFusion — простой, но эффективный подход к увеличению данных на основе диффузии для задач сегментации экземпляров с большим словарём. Наш метод не требует обучения и не зависит от каких-либо меток. Два ключевых решения позволяют нам использовать готовую модель текста в изображение на основе диффузии в качестве полезного генератора наборов данных для экземпляров объектов и аннотаций масок. Во-первых, мы разделяем холст изображения на несколько областей и выполняем один раунд процесса диффузии для одновременного создания нескольких экземпляров, основываясь на различных текстовых запросах. Во-вторых, мы получаем соответствующие маски экземпляров, агрегируя карты кросс-внимания, связанные с запросами объектов, по слоям и шагам диффузии, с последующей простой пороговой обработкой и уточнением с учётом границ. Без излишеств наш MosaicFusion способен генерировать значительное количество синтетических размеченных данных как для редких, так и для новых категорий. Результаты экспериментов на сложных бенчмарках LVIS с длинным хвостом и открытым словарём демонстрируют, что MosaicFusion может значительно улучшить производительность существующих моделей сегментации экземпляров, особенно для редких и новых категорий. Код будет доступен по адресу https://github.com/Jiahao000/MosaicFusion.

English

We present MosaicFusion, a simple yet effective diffusion-based data augmentation approach for large vocabulary instance segmentation. Our method is training-free and does not rely on any label supervision. Two key designs enable us to employ an off-the-shelf text-to-image diffusion model as a useful dataset generator for object instances and mask annotations. First, we divide an image canvas into several regions and perform a single round of diffusion process to generate multiple instances simultaneously, conditioning on different text prompts. Second, we obtain corresponding instance masks by aggregating cross-attention maps associated with object prompts across layers and diffusion time steps, followed by simple thresholding and edge-aware refinement processing. Without bells and whistles, our MosaicFusion can produce a significant amount of synthetic labeled data for both rare and novel categories. Experimental results on the challenging LVIS long-tailed and open-vocabulary benchmarks demonstrate that MosaicFusion can significantly improve the performance of existing instance segmentation models, especially for rare and novel categories. Code will be released at https://github.com/Jiahao000/MosaicFusion.