Le modèle de diffusion comme apprenant généraliste de la segmentation

Résumé

Les modèles de diffusion sont principalement entraînés pour la synthèse d'images, mais leurs trajectoires de débruitage encodent des préalables visuels riches et spatialement alignés. Dans cet article, nous démontrons que ces préalables peuvent être utilisés pour la segmentation sémantique et à vocabulaire ouvert conditionnée par le texte, et que cette approche peut être généralisée à diverses tâches en aval pour créer un framework de segmentation généraliste basé sur la diffusion. Concrètement, nous présentons DiGSeg (Diffusion Models as a Generalist Segmentation Learner), qui réutilise un modèle de diffusion pré-entraîné en un framework de segmentation unifié. Notre approche encode l'image d'entrée et le masque de vérité terrain dans l'espace latent et les concatène comme signaux de conditionnement pour l'U-Net de diffusion. Une voie textuelle parallèle alignée sur CLIP injecte des caractéristiques linguistiques à multiples échelles, permettant au modèle d'aligner les requêtes textuelles avec les représentations visuelles en évolution. Cette conception transforme un backbone de diffusion standard en une interface universelle produisant des masques de segmentation structurés conditionnés à la fois par l'apparence et par des invites textuelles arbitraires. Des expérimentations approfondies démontrent des performances à l'état de l'art sur des benchmarks standards de segmentation sémantique, ainsi qu'une forte généralisation en vocabulaire ouvert et un transfert inter-domaines vers des scénarios médicaux, de télédétection et agricoles - sans personnalisation architecturale spécifique au domaine. Ces résultats indiquent que les backbones de diffusion modernes peuvent servir d'apprenants généralistes en segmentation plutôt que de simples générateurs, réduisant ainsi l'écart entre la génération visuelle et la compréhension visuelle.

English

Diffusion models are primarily trained for image synthesis, yet their denoising trajectories encode rich, spatially aligned visual priors. In this paper, we demonstrate that these priors can be utilized for text-conditioned semantic and open-vocabulary segmentation, and this approach can be generalized to various downstream tasks to make a general-purpose diffusion segmentation framework. Concretely, we introduce DiGSeg (Diffusion Models as a Generalist Segmentation Learner), which repurposes a pretrained diffusion model into a unified segmentation framework. Our approach encodes the input image and ground-truth mask into the latent space and concatenates them as conditioning signals for the diffusion U-Net. A parallel CLIP-aligned text pathway injects language features across multiple scales, enabling the model to align textual queries with evolving visual representations. This design transforms an off-the-shelf diffusion backbone into a universal interface that produces structured segmentation masks conditioned on both appearance and arbitrary text prompts. Extensive experiments demonstrate state-of-the-art performance on standard semantic segmentation benchmarks, as well as strong open-vocabulary generalization and cross-domain transfer to medical, remote sensing, and agricultural scenarios-without domain-specific architectural customization. These results indicate that modern diffusion backbones can serve as generalist segmentation learners rather than pure generators, narrowing the gap between visual generation and visual understanding.

Le modèle de diffusion comme apprenant généraliste de la segmentation

Diffusion Model as a Generalist Segmentation Learner

Résumé

Support