Что скрыто в латентном? Использование латентного пространства диффузии для обобщения на различные домены

What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization

March 9, 2025

Авторы: Xavier Thomas, Deepti Ghadiyaram

cs.AI

Аннотация

Обобщение на новые домены (Domain Generalization) направлено на разработку моделей, способных обобщать данные на новые и неизвестные распределения. В данной работе мы исследуем, как архитектуры моделей и задачи предварительного обучения влияют на богатство признаков, и предлагаем метод для их эффективного использования в задачах обобщения на новые домены. В частности, для заданного пространства признаков, полученного в результате предварительного обучения, мы сначала обнаруживаем скрытые структуры доменов, называемые псевдодоменами, которые фиксируют доменно-специфичные вариации в неконтролируемом режиме. Затем мы дополняем существующие классификаторы этими дополнительными представлениями псевдодоменов, делая их более адаптивными к разнообразным неизвестным тестовым доменам. Мы анализируем, как различные пространства признаков, полученные в результате предварительного обучения, различаются по захватываемым доменно-специфичным вариациям. Наши эмпирические исследования показывают, что признаки, полученные из моделей диффузии, превосходно разделяют домены при отсутствии явных меток доменов и фиксируют тонкие доменно-специфичные особенности. На 5 наборах данных мы демонстрируем, что наш простой фреймворк улучшает обобщение на неизвестные домены, достигая максимального увеличения точности тестирования более чем на 4% по сравнению с базовым методом минимизации эмпирического риска (ERM). Важно отметить, что наш метод превосходит большинство алгоритмов, которые используют метки доменов во время обучения.

English

Domain Generalization aims to develop models that can generalize to novel and unseen data distributions. In this work, we study how model architectures and pre-training objectives impact feature richness and propose a method to effectively leverage them for domain generalization. Specifically, given a pre-trained feature space, we first discover latent domain structures, referred to as pseudo-domains, that capture domain-specific variations in an unsupervised manner. Next, we augment existing classifiers with these complementary pseudo-domain representations making them more amenable to diverse unseen test domains. We analyze how different pre-training feature spaces differ in the domain-specific variances they capture. Our empirical studies reveal that features from diffusion models excel at separating domains in the absence of explicit domain labels and capture nuanced domain-specific information. On 5 datasets, we show that our very simple framework improves generalization to unseen domains by a maximum test accuracy improvement of over 4% compared to the standard baseline Empirical Risk Minimization (ERM). Crucially, our method outperforms most algorithms that access domain labels during training.