gen2seg: Generatieve Modellen Maken Generaliseerbare Instancesegmentatie Mogelijk

gen2seg: Generative Models Enable Generalizable Instance Segmentation

May 21, 2025

Auteurs: Om Khangaonkar, Hamed Pirsiavash

cs.AI

Samenvatting

Door vooraf te trainen om samenhangende afbeeldingen te synthetiseren uit verstoorde invoer, leren generatieve modellen van nature objectgrenzen en scènecomposities te begrijpen. Hoe kunnen we deze generatieve representaties hergebruiken voor algemene perceptuele organisatie? We finetunen Stable Diffusion en MAE (encoder+decoder) voor categorie-agnostische instantiesegmentatie met behulp van ons instance coloring loss, uitsluitend op een beperkte set objecttypen (binnenhuisinrichting en auto's). Verrassend genoeg vertonen onze modellen sterke zero-shot generalisatie, waarbij ze objecten van typen en stijlen die niet in de finetuning voorkwamen (en in veel gevallen ook niet in MAE's ImageNet-1K voorafgaande training), nauwkeurig segmenteren. Onze best presterende modellen benaderen de zwaar begeleide SAM sterk bij evaluatie op onbekende objecttypen en stijlen, en overtreffen deze bij het segmenteren van fijne structuren en ambiguë grenzen. In tegenstelling hiermee slagen bestaande promptbare segmentatie-architecturen of discriminatief vooraf getrainde modellen er niet in te generaliseren. Dit suggereert dat generatieve modellen een inherent groeperingsmechanisme leren dat overdraagbaar is over categorieën en domeinen, zelfs zonder internet-schaal voorafgaande training. Code, vooraf getrainde modellen en demo's zijn beschikbaar op onze website.

English

By pretraining to synthesize coherent images from perturbed inputs, generative models inherently learn to understand object boundaries and scene compositions. How can we repurpose these generative representations for general-purpose perceptual organization? We finetune Stable Diffusion and MAE (encoder+decoder) for category-agnostic instance segmentation using our instance coloring loss exclusively on a narrow set of object types (indoor furnishings and cars). Surprisingly, our models exhibit strong zero-shot generalization, accurately segmenting objects of types and styles unseen in finetuning (and in many cases, MAE's ImageNet-1K pretraining too). Our best-performing models closely approach the heavily supervised SAM when evaluated on unseen object types and styles, and outperform it when segmenting fine structures and ambiguous boundaries. In contrast, existing promptable segmentation architectures or discriminatively pretrained models fail to generalize. This suggests that generative models learn an inherent grouping mechanism that transfers across categories and domains, even without internet-scale pretraining. Code, pretrained models, and demos are available on our website.