¿Qué hay en un latente? Aprovechando el espacio latente de difusión para la generalización de dominios

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

Autores: Xavier Thomas, Deepti Ghadiyaram

cs.AI

Resumen

La Generalización de Dominios tiene como objetivo desarrollar modelos que puedan generalizar a distribuciones de datos nuevas y no vistas. En este trabajo, estudiamos cómo las arquitecturas de modelos y los objetivos de preentrenamiento impactan en la riqueza de características y proponemos un método para aprovecharlos eficazmente para la generalización de dominios. Específicamente, dado un espacio de características preentrenado, primero descubrimos estructuras latentes de dominio, denominadas pseudo-dominios, que capturan variaciones específicas del dominio de manera no supervisada. A continuación, aumentamos los clasificadores existentes con estas representaciones complementarias de pseudo-dominios, haciéndolos más adecuados para diversos dominios de prueba no vistos. Analizamos cómo difieren los diferentes espacios de características de preentrenamiento en las variaciones específicas del dominio que capturan. Nuestros estudios empíricos revelan que las características de los modelos de difusión sobresalen en la separación de dominios en ausencia de etiquetas de dominio explícitas y capturan información específica del dominio de manera matizada. En 5 conjuntos de datos, demostramos que nuestro marco muy simple mejora la generalización a dominios no vistos con una mejora máxima en la precisión de prueba de más del 4% en comparación con la línea base estándar de Minimización del Riesgo Empírico (ERM). Crucialmente, nuestro método supera a la mayoría de los algoritmos que acceden a etiquetas de dominio durante el entrenamiento.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.