Diffusionsmodell als universeller Segmentierungslernalgorithmus

Zusammenfassung

Diffusionsmodelle werden primär für die Bildsynthese trainiert, doch ihre Denoising-Pfade kodieren reiche, räumlich ausgerichtete visuelle Priors. In diesem Beitrag zeigen wir, dass diese Priors für textkonditionierte semantische und Open-Vocabulary-Segmentierung genutzt werden können und dass sich dieser Ansatz auf verschiedene Downstream-Aufgaben verallgemeinern lässt, um ein allgemeines Diffusionssegmentierungs-Framework zu schaffen. Konkret führen wir DiGSeg (Diffusion Models as a Generalist Segmentation Learner) ein, das ein vortrainiertes Diffusionsmodell in ein einheitliches Segmentierungsframework umwandelt. Unser Ansatz kodiert das Eingabebild und die Ground-Truth-Maske in den latenten Raum und verkettet sie als Konditionierungssignale für das Diffusion U-Net. Ein paralleler, CLIP-ausgerichteter Textpfad injiziert Sprachmerkmale über mehrere Skalen hinweg und ermöglicht es dem Modell, textuelle Anfragen mit sich entwickelnden visuellen Repräsentationen abzugleichen. Dieses Design verwandelt eine Standard-Diffusions-Backbone in eine universelle Schnittstelle, die strukturierte Segmentierungsmasken erzeugt, die sowohl auf Erscheinungsbild als auch auf beliebige Textprompts konditioniert sind. Umfangreiche Experimente demonstrieren state-of-the-art Leistung auf standardisierten Benchmarks für semantische Segmentierung sowie starke Open-Vocabulary-Generalisierung und domänenübergreifenden Transfer in medizinische, fernerkundliche und landwirtschaftliche Szenarien – ohne domainspezifische architektonische Anpassungen. Diese Ergebnisse deuten darauf hin, dass moderne Diffusions-Backbones als generalistische Segmentierungslerner statt als reine Generatoren dienen können, was die Lücke zwischen visueller Erzeugung und visuellem Verständnis verkleinert.

English

Diffusion models are primarily trained for image synthesis, yet their denoising trajectories encode rich, spatially aligned visual priors. In this paper, we demonstrate that these priors can be utilized for text-conditioned semantic and open-vocabulary segmentation, and this approach can be generalized to various downstream tasks to make a general-purpose diffusion segmentation framework. Concretely, we introduce DiGSeg (Diffusion Models as a Generalist Segmentation Learner), which repurposes a pretrained diffusion model into a unified segmentation framework. Our approach encodes the input image and ground-truth mask into the latent space and concatenates them as conditioning signals for the diffusion U-Net. A parallel CLIP-aligned text pathway injects language features across multiple scales, enabling the model to align textual queries with evolving visual representations. This design transforms an off-the-shelf diffusion backbone into a universal interface that produces structured segmentation masks conditioned on both appearance and arbitrary text prompts. Extensive experiments demonstrate state-of-the-art performance on standard semantic segmentation benchmarks, as well as strong open-vocabulary generalization and cross-domain transfer to medical, remote sensing, and agricultural scenarios-without domain-specific architectural customization. These results indicate that modern diffusion backbones can serve as generalist segmentation learners rather than pure generators, narrowing the gap between visual generation and visual understanding.

Diffusionsmodell als universeller Segmentierungslernalgorithmus

Diffusion Model as a Generalist Segmentation Learner

Zusammenfassung

Support