gen2seg: Los modelos generativos permiten la segmentación de instancias generalizable

gen2seg: Generative Models Enable Generalizable Instance Segmentation

May 21, 2025

Autores: Om Khangaonkar, Hamed Pirsiavash

cs.AI

Resumen

Al preentrenarse para sintetizar imágenes coherentes a partir de entradas perturbadas, los modelos generativos aprenden inherentemente a comprender los límites de los objetos y las composiciones de las escenas. ¿Cómo podemos reutilizar estas representaciones generativas para la organización perceptual de propósito general? Ajustamos Stable Diffusion y MAE (codificador+decodificador) para la segmentación de instancias independiente de categorías, utilizando nuestra función de pérdida de coloreado de instancias exclusivamente en un conjunto reducido de tipos de objetos (mobiliario interior y coches). Sorprendentemente, nuestros modelos exhiben una fuerte generalización zero-shot, segmentando con precisión objetos de tipos y estilos no vistos durante el ajuste (y, en muchos casos, tampoco en el preentrenamiento de MAE en ImageNet-1K). Nuestros modelos de mejor rendimiento se acercan notablemente al SAM altamente supervisado cuando se evalúan en tipos y estilos de objetos no vistos, y lo superan al segmentar estructuras finas y límites ambiguos. En contraste, las arquitecturas de segmentación basadas en prompts o los modelos preentrenados de manera discriminativa no logran generalizar. Esto sugiere que los modelos generativos aprenden un mecanismo de agrupación inherente que se transfiere entre categorías y dominios, incluso sin un preentrenamiento a escala de internet. El código, los modelos preentrenados y las demostraciones están disponibles en nuestro sitio web.

English

By pretraining to synthesize coherent images from perturbed inputs, generative models inherently learn to understand object boundaries and scene compositions. How can we repurpose these generative representations for general-purpose perceptual organization? We finetune Stable Diffusion and MAE (encoder+decoder) for category-agnostic instance segmentation using our instance coloring loss exclusively on a narrow set of object types (indoor furnishings and cars). Surprisingly, our models exhibit strong zero-shot generalization, accurately segmenting objects of types and styles unseen in finetuning (and in many cases, MAE's ImageNet-1K pretraining too). Our best-performing models closely approach the heavily supervised SAM when evaluated on unseen object types and styles, and outperform it when segmenting fine structures and ambiguous boundaries. In contrast, existing promptable segmentation architectures or discriminatively pretrained models fail to generalize. This suggests that generative models learn an inherent grouping mechanism that transfers across categories and domains, even without internet-scale pretraining. Code, pretrained models, and demos are available on our website.