Que contient un latent ? Exploiter l'espace latent des modèles de diffusion pour la généralisation de domaine

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

Auteurs: Xavier Thomas, Deepti Ghadiyaram

cs.AI

Résumé

La généralisation de domaine vise à développer des modèles capables de s'adapter à des distributions de données nouvelles et inconnues. Dans ce travail, nous étudions comment les architectures de modèles et les objectifs de pré-entraînement influencent la richesse des caractéristiques, et nous proposons une méthode pour les exploiter efficacement en vue de la généralisation de domaine. Plus précisément, étant donné un espace de caractéristiques pré-entraîné, nous découvrons d'abord des structures de domaine latentes, appelées pseudo-domaines, qui capturent les variations spécifiques aux domaines de manière non supervisée. Ensuite, nous enrichissons les classificateurs existants avec ces représentations complémentaires de pseudo-domaines, les rendant ainsi plus adaptés à divers domaines de test inconnus. Nous analysons comment différents espaces de caractéristiques issus du pré-entraînement diffèrent dans les variances spécifiques aux domaines qu'ils capturent. Nos études empiriques révèlent que les caractéristiques issues des modèles de diffusion excellent à séparer les domaines en l'absence d'étiquettes de domaine explicites et capturent des informations nuancées spécifiques aux domaines. Sur 5 ensembles de données, nous montrons que notre cadre très simple améliore la généralisation à des domaines inconnus avec une augmentation maximale de la précision en test de plus de 4 % par rapport à la base de référence standard qu'est la minimisation du risque empirique (ERM). De manière cruciale, notre méthode surpasse la plupart des algorithmes qui accèdent aux étiquettes de domaine pendant l'entraînement.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.