잠재 공간의 비밀: 도메인 일반화를 위한 확산 잠재 공간 활용

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

저자: Xavier Thomas, Deepti Ghadiyaram

cs.AI

초록

도메인 일반화(Domain Generalization)는 새로운 데이터 분포에 대해 일반화할 수 있는 모델을 개발하는 것을 목표로 합니다. 본 연구에서는 모델 아키텍처와 사전 학습 목적 함수가 특징의 풍부성에 미치는 영향을 분석하고, 이를 도메인 일반화에 효과적으로 활용하는 방법을 제안합니다. 구체적으로, 사전 학습된 특징 공간이 주어졌을 때, 우리는 먼저 도메인별 변이를 포착하는 잠재 도메인 구조(이를 '가상 도메인(pseudo-domain)'이라 함)를 비지도 방식으로 발견합니다. 다음으로, 기존 분류기에 이러한 보완적인 가상 도메인 표현을 추가하여 다양한 보이지 않는 테스트 도메인에 더 잘 적응할 수 있도록 합니다. 우리는 다양한 사전 학습 특징 공간이 포착하는 도메인별 분산이 어떻게 다른지 분석합니다. 실험 연구를 통해 확산 모델(diffusion model)에서 추출한 특징이 명시적인 도메인 레이블 없이도 도메인을 효과적으로 분리하고, 세밀한 도메인별 정보를 포착하는 데 탁월함을 확인했습니다. 5개의 데이터셋에서, 우리의 매우 간단한 프레임워크가 표준 기준선인 경험적 위험 최소화(Empirical Risk Minimization, ERM)에 비해 최대 4% 이상의 테스트 정확도 향상을 통해 보이지 않는 도메인에 대한 일반화를 개선함을 보여줍니다. 특히, 우리의 방법은 학습 중에 도메인 레이블에 접근하는 대부분의 알고리즘을 능가합니다.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.