Was steckt in einem Latent? Nutzung des Diffusion Latent Space für Domain Generalization

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

Autoren: Xavier Thomas, Deepti Ghadiyaram

cs.AI

Zusammenfassung

Domain Generalization zielt darauf ab, Modelle zu entwickeln, die sich auf neue und unbekannte Datenverteilungen verallgemeinern lassen. In dieser Arbeit untersuchen wir, wie Modellarchitekturen und Vortrainingsziele die Merkmalsvielfalt beeinflussen, und schlagen eine Methode vor, um diese effektiv für die Domain Generalization zu nutzen. Konkret entdecken wir, ausgehend von einem vortrainierten Merkmalsraum, zunächst latente Domänenstrukturen, sogenannte Pseudo-Domänen, die domänenspezifische Variationen auf unüberwachte Weise erfassen. Anschließend erweitern wir bestehende Klassifikatoren um diese komplementären Pseudo-Domänenrepräsentationen, wodurch sie besser für verschiedene unbekannte Testdomänen geeignet sind. Wir analysieren, wie sich verschiedene vortrainierte Merkmalsräume in den erfassten domänenspezifischen Varianzen unterscheiden. Unsere empirischen Studien zeigen, dass Merkmale aus Diffusionsmodellen besonders gut darin sind, Domänen ohne explizite Domänenlabels zu trennen und subtile domänenspezifische Informationen zu erfassen. Auf 5 Datensätzen demonstrieren wir, dass unser sehr einfaches Framework die Generalisierung auf unbekannte Domänen verbessert, mit einer maximalen Steigerung der Testgenauigkeit von über 4 % im Vergleich zum Standard-Baseline-Verfahren Empirical Risk Minimization (ERM). Entscheidend ist, dass unsere Methode die meisten Algorithmen übertrifft, die während des Trainings auf Domänenlabels zugreifen.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.