Cosa c'è in un Latente? Sfruttare lo Spazio Latente della Diffusione per la Generalizzazione di Dominio

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

Autori: Xavier Thomas, Deepti Ghadiyaram

cs.AI

Abstract

La Generalizzazione di Dominio mira a sviluppare modelli in grado di generalizzare su distribuzioni di dati nuove e mai viste. In questo lavoro, studiamo come le architetture dei modelli e gli obiettivi di pre-addestramento influenzino la ricchezza delle feature e proponiamo un metodo per sfruttarli efficacemente per la generalizzazione di dominio. Nello specifico, dato uno spazio di feature pre-addestrato, scopriamo prima strutture latenti di dominio, denominate pseudo-dominî, che catturano le variazioni specifiche del dominio in modo non supervisionato. Successivamente, arricchiamo i classificatori esistenti con queste rappresentazioni complementari di pseudo-dominio, rendendoli più adatti a gestire diversi domini di test non visti. Analizziamo come diversi spazi di feature pre-addestrati differiscano nelle varianze specifiche del dominio che catturano. I nostri studi empirici rivelano che le feature provenienti da modelli di diffusione eccellono nel separare i domini in assenza di etichette di dominio esplicite e catturano informazioni specifiche del dominio con grande dettaglio. Su 5 dataset, dimostriamo che il nostro framework molto semplice migliora la generalizzazione a domini non visti con un incremento massimo dell'accuratezza di test di oltre il 4% rispetto alla baseline standard della Minimizzazione del Rischio Empirico (ERM). Fondamentalmente, il nostro metodo supera la maggior parte degli algoritmi che accedono alle etichette di dominio durante l'addestramento.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.