Wat zit er in een Latent? Benutten van de Latente Ruimte van Diffusie voor Domeingeneralizatie

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

Auteurs: Xavier Thomas, Deepti Ghadiyaram

cs.AI

Samenvatting

Domain Generalization heeft als doel modellen te ontwikkelen die kunnen generaliseren naar nieuwe en onbekende datadistributies. In dit werk onderzoeken we hoe modelarchitecturen en pre-trainingsdoelstellingen de rijkdom van kenmerken beïnvloeden en stellen we een methode voor om deze effectief te benutten voor domeingeneralizatie. Specifiek, gegeven een vooraf getrainde kenmerkenruimte, ontdekken we eerst latente domeinstructuren, aangeduid als pseudo-domeinen, die domeinspecifieke variaties op een onbewaakte manier vastleggen. Vervolgens verrijken we bestaande classificatiemodellen met deze aanvullende pseudo-domeinrepresentaties, waardoor ze beter geschikt worden voor diverse onbekende testdomeinen. We analyseren hoe verschillende vooraf getrainde kenmerkenruimten verschillen in de domeinspecifieke varianties die ze vastleggen. Onze empirische studies tonen aan dat kenmerken van diffusiemodellen uitblinken in het scheiden van domeinen zonder expliciete domeinlabels en subtiele domeinspecifieke informatie vastleggen. Op 5 datasets laten we zien dat ons zeer eenvoudige framework de generalisatie naar onbekende domeinen verbetert met een maximale verbetering van de testnauwkeurigheid van meer dan 4% vergeleken met de standaard baseline Empirical Risk Minimization (ERM). Cruciaal is dat onze methode de meeste algoritmen overtreft die tijdens de training toegang hebben tot domeinlabels.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.