Modelo de Difusão como um Aprendiz Generalista de Segmentação

Resumo

Os modelos de difusão são treinados principalmente para síntese de imagens, mas suas trajetórias de remoção de ruído codificam priors visuais ricos e espacialmente alinhados. Neste artigo, demonstramos que esses priors podem ser utilizados para segmentação semântica e de vocabulário aberto com condicionamento textual, e que esta abordagem pode ser generalizada para várias tarefas subsequentes para criar uma estrutura de segmentação por difusão de propósito geral. Concretamente, introduzimos o DiGSeg (Modelos de Difusão como um Segmentador Generalista), que reaproveita um modelo de difusão pré-treinado em uma estrutura de segmentação unificada. Nossa abordagem codifica a imagem de entrada e a máscara de verdade terrestre no espaço latente e as concatena como sinais de condicionamento para a U-Net de difusão. Um caminho de texto paralelo alinhado com CLIP injeta características linguísticas em múltiplas escalas, permitindo que o modelo alinhe consultas textuais com representações visuais em evolução. Este design transforma um backbone de difusão pronto para uso em uma interface universal que produz máscaras de segmentação estruturadas condicionadas tanto pela aparência quanto por prompts textuais arbitrários. Experimentos extensivos demonstram desempenho state-of-the-art em benchmarks padrão de segmentação semântica, bem como forte generalização de vocabulário aberto e transferência cross-domain para cenários médicos, de sensoriamento remoto e agrícolas - sem customização arquitetônica específica de domínio. Estes resultados indicam que os backbones de difusão modernos podem servir como segmentadores generalistas em vez de meros geradores, estreitando a lacuna entre geração visual e compreensão visual.

English

Diffusion models are primarily trained for image synthesis, yet their denoising trajectories encode rich, spatially aligned visual priors. In this paper, we demonstrate that these priors can be utilized for text-conditioned semantic and open-vocabulary segmentation, and this approach can be generalized to various downstream tasks to make a general-purpose diffusion segmentation framework. Concretely, we introduce DiGSeg (Diffusion Models as a Generalist Segmentation Learner), which repurposes a pretrained diffusion model into a unified segmentation framework. Our approach encodes the input image and ground-truth mask into the latent space and concatenates them as conditioning signals for the diffusion U-Net. A parallel CLIP-aligned text pathway injects language features across multiple scales, enabling the model to align textual queries with evolving visual representations. This design transforms an off-the-shelf diffusion backbone into a universal interface that produces structured segmentation masks conditioned on both appearance and arbitrary text prompts. Extensive experiments demonstrate state-of-the-art performance on standard semantic segmentation benchmarks, as well as strong open-vocabulary generalization and cross-domain transfer to medical, remote sensing, and agricultural scenarios-without domain-specific architectural customization. These results indicate that modern diffusion backbones can serve as generalist segmentation learners rather than pure generators, narrowing the gap between visual generation and visual understanding.