gen2seg: Modelli Generativi Abilitano la Segmentazione di Istanza Generalizzabile

gen2seg: Generative Models Enable Generalizable Instance Segmentation

May 21, 2025

Autori: Om Khangaonkar, Hamed Pirsiavash

cs.AI

Abstract

Addestrando preliminarmente i modelli generativi a sintetizzare immagini coerenti da input perturbati, questi apprendono intrinsecamente a comprendere i confini degli oggetti e le composizioni delle scene. Come possiamo riutilizzare queste rappresentazioni generative per l'organizzazione percettiva di scopi generali? Abbiamo ottimizzato Stable Diffusion e MAE (encoder+decoder) per la segmentazione di istanze indipendente dalla categoria, utilizzando esclusivamente la nostra funzione di perdita basata sulla colorazione delle istanze su un ristretto insieme di tipi di oggetti (arredamento interno e automobili). Sorprendentemente, i nostri modelli mostrano una forte generalizzazione zero-shot, segmentando accuratamente oggetti di tipi e stili non visti durante l'ottimizzazione (e in molti casi, neppure nel pre-addestramento di MAE su ImageNet-1K). I nostri modelli più performanti si avvicinano notevolmente al SAM, fortemente supervisionato, quando valutati su tipi e stili di oggetti non visti, e lo superano nella segmentazione di strutture fini e confini ambigui. Al contrario, le architetture di segmentazione promptable esistenti o i modelli pre-addestrati in modo discriminativo non riescono a generalizzare. Ciò suggerisce che i modelli generativi apprendono un meccanismo di raggruppamento intrinseco che si trasferisce tra categorie e domini, anche senza un pre-addestramento su scala internet. Codice, modelli pre-addestrati e demo sono disponibili sul nostro sito web.

English

By pretraining to synthesize coherent images from perturbed inputs, generative models inherently learn to understand object boundaries and scene compositions. How can we repurpose these generative representations for general-purpose perceptual organization? We finetune Stable Diffusion and MAE (encoder+decoder) for category-agnostic instance segmentation using our instance coloring loss exclusively on a narrow set of object types (indoor furnishings and cars). Surprisingly, our models exhibit strong zero-shot generalization, accurately segmenting objects of types and styles unseen in finetuning (and in many cases, MAE's ImageNet-1K pretraining too). Our best-performing models closely approach the heavily supervised SAM when evaluated on unseen object types and styles, and outperform it when segmenting fine structures and ambiguous boundaries. In contrast, existing promptable segmentation architectures or discriminatively pretrained models fail to generalize. This suggests that generative models learn an inherent grouping mechanism that transfers across categories and domains, even without internet-scale pretraining. Code, pretrained models, and demos are available on our website.