gen2seg : Les modèles génératifs permettent une segmentation d'instance généralisable

gen2seg: Generative Models Enable Generalizable Instance Segmentation

May 21, 2025

Auteurs: Om Khangaonkar, Hamed Pirsiavash

cs.AI

Résumé

En s'entraînant à synthétiser des images cohérentes à partir d'entrées perturbées, les modèles génératifs apprennent intrinsèquement à comprendre les limites des objets et les compositions de scènes. Comment pouvons-nous réutiliser ces représentations génératives pour l'organisation perceptive à usage général ? Nous affinons Stable Diffusion et MAE (encodeur+décodeur) pour la segmentation d'instances indépendante des catégories en utilisant exclusivement notre fonction de perte de coloration d'instances sur un ensemble restreint de types d'objets (meubles d'intérieur et voitures). Étonnamment, nos modèles montrent une forte généralisation en zero-shot, segmentant avec précision des objets de types et de styles non vus lors de l'affinage (et dans de nombreux cas, non vus non plus lors du pré-entraînement de MAE sur ImageNet-1K). Nos modèles les plus performants se rapprochent étroitement du SAM fortement supervisé lorsqu'ils sont évalués sur des types et styles d'objets non vus, et le surpassent lors de la segmentation de structures fines et de limites ambiguës. En revanche, les architectures de segmentation promptables existantes ou les modèles pré-entraînés de manière discriminative échouent à généraliser. Cela suggère que les modèles génératifs apprennent un mécanisme de regroupement inhérent qui se transfère à travers les catégories et les domaines, même sans pré-entraînement à l'échelle d'Internet. Le code, les modèles pré-entraînés et les démonstrations sont disponibles sur notre site web.

English

By pretraining to synthesize coherent images from perturbed inputs, generative models inherently learn to understand object boundaries and scene compositions. How can we repurpose these generative representations for general-purpose perceptual organization? We finetune Stable Diffusion and MAE (encoder+decoder) for category-agnostic instance segmentation using our instance coloring loss exclusively on a narrow set of object types (indoor furnishings and cars). Surprisingly, our models exhibit strong zero-shot generalization, accurately segmenting objects of types and styles unseen in finetuning (and in many cases, MAE's ImageNet-1K pretraining too). Our best-performing models closely approach the heavily supervised SAM when evaluated on unseen object types and styles, and outperform it when segmenting fine structures and ambiguous boundaries. In contrast, existing promptable segmentation architectures or discriminatively pretrained models fail to generalize. This suggests that generative models learn an inherent grouping mechanism that transfers across categories and domains, even without internet-scale pretraining. Code, pretrained models, and demos are available on our website.