O que há em um Latente? Aproveitando o Espaço Latente de Difusão para Generalização de Domínio

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

Autores: Xavier Thomas, Deepti Ghadiyaram

cs.AI

Resumo

A Generalização de Domínio visa desenvolver modelos que possam generalizar para distribuições de dados novas e não vistas. Neste trabalho, estudamos como as arquiteturas de modelos e os objetivos de pré-treinamento impactam a riqueza de características e propomos um método para aproveitá-los efetivamente para a generalização de domínio. Especificamente, dado um espaço de características pré-treinado, primeiro descobrimos estruturas latentes de domínio, denominadas pseudo-domínios, que capturam variações específicas do domínio de maneira não supervisionada. Em seguida, aumentamos os classificadores existentes com essas representações complementares de pseudo-domínios, tornando-os mais adequados para diversos domínios de teste não vistos. Analisamos como diferentes espaços de características de pré-treinamento diferem nas variâncias específicas do domínio que capturam. Nossos estudos empíricos revelam que as características dos modelos de difusão se destacam na separação de domínios na ausência de rótulos explícitos de domínio e capturam informações específicas do domínio de forma detalhada. Em 5 conjuntos de dados, mostramos que nossa estrutura muito simples melhora a generalização para domínios não vistos com um aumento máximo de precisão de teste de mais de 4% em comparação com a linha de base padrão de Minimização de Risco Empírico (ERM). Crucialmente, nosso método supera a maioria dos algoritmos que acessam rótulos de domínio durante o treinamento.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.