확산 모델을 통한 범용 분할 학습기

Diffusion Model as a Generalist Segmentation Learner

April 27, 2026

저자: Haoxiao Wang, Antao Xiang, Haiyang Sun, Peilin Sun, Changhao Pan, Yifu Chen, Minjie Hong, Weijie Wang, Shuang Chen, Yue Chen, Zhou Zhao

cs.AI

초록

디퓨전 모델은 주로 이미지 합성을 위해 훈련되지만, 그들의 노이즈 제거 궤적은 공간적으로 정렬된 풍부한 시각적 사전 지식을 인코딩합니다. 본 논문에서는 이러한 사전 지식이 텍스트 조건부 의미 분할 및 개방형 어휘 분할에 활용될 수 있으며, 이 접근법이 다양한 다운스트림 작업으로 일반화되어 범용 디퓨전 분할 프레임워크를 구축할 수 있음을 입증합니다. 구체적으로, 우리는 사전 훈련된 디퓨전 모델을 통합 분할 프레임워크로 재구성한 DiGSeg(Diffusion Models as a Generalist Segmentation Learner)를 소개합니다. 우리의 접근법은 입력 이미지와 실제 마스크를 잠재 공간에 인코딩하여 디퓨전 U-Net의 조건 신호로 연결합니다. 병렬 CLIP 정렬 텍스트 경로는 다중 스케일에서 언어 특징을 주입하여 모델이 텍스트 쿼리를 진화하는 시각적 표현과 정렬할 수 있게 합니다. 이 설계는 기성 디퓨전 백본을 외관과 임의의 텍스트 프롬프트 모두에 조건화된 구조화된 분할 마스크를 생성하는 범용 인터페이스로 변환합니다. 광범위한 실험을 통해 표준 의미 분할 벤치마크에서 최첨단 성능을 달성했을 뿐만 아니라, 강력한 개방형 어휘 일반화 및 의료, 원격 탐지, 농업 시나리오로의 도메인 간 전이 성능을 도메인 특화 아키텍처 사용 없이 입증했습니다. 이러한 결과는 현대 디퓨전 백본이 순수 생성기가 아닌 일반 분할 학습자로 기능하여 시각 생성과 시각 이해 사이의 격차를 줄일 수 있음을 시사합니다.

English

Diffusion models are primarily trained for image synthesis, yet their denoising trajectories encode rich, spatially aligned visual priors. In this paper, we demonstrate that these priors can be utilized for text-conditioned semantic and open-vocabulary segmentation, and this approach can be generalized to various downstream tasks to make a general-purpose diffusion segmentation framework. Concretely, we introduce DiGSeg (Diffusion Models as a Generalist Segmentation Learner), which repurposes a pretrained diffusion model into a unified segmentation framework. Our approach encodes the input image and ground-truth mask into the latent space and concatenates them as conditioning signals for the diffusion U-Net. A parallel CLIP-aligned text pathway injects language features across multiple scales, enabling the model to align textual queries with evolving visual representations. This design transforms an off-the-shelf diffusion backbone into a universal interface that produces structured segmentation masks conditioned on both appearance and arbitrary text prompts. Extensive experiments demonstrate state-of-the-art performance on standard semantic segmentation benchmarks, as well as strong open-vocabulary generalization and cross-domain transfer to medical, remote sensing, and agricultural scenarios-without domain-specific architectural customization. These results indicate that modern diffusion backbones can serve as generalist segmentation learners rather than pure generators, narrowing the gap between visual generation and visual understanding.