CPCANet: Глубокая развертка общего анализа главных компонент для обобщения по доменам

Аннотация

Обобщение доменов (DG) направлено на изучение представлений, которые остаются устойчивыми к смещениям вне распределения (OOD) и эффективно обобщаются на невидимые целевые домены. Хотя недавние стратегии инвариантного обучения и архитектурные достижения показали высокую производительность, явное обнаружение структурированного доменно-инвариантного подпространства с использованием статистики второго порядка остается недостаточно исследованным. В данной работе мы предлагаем CPCANet — новую структуру, основанную на общем анализе главных компонент (CPCA), которая разворачивает итеративный алгоритм Флури-Гаучи (FG) в полностью дифференцируемые нейронные слои. Этот подход интегрирует статистические свойства CPCA в структуру сквозного обучения, обеспечивая обнаружение общего подпространства в разнообразных доменах с сохранением интерпретируемости. Эксперименты на четырех стандартных эталонных наборах DG показывают, что CPCANet достигает передового уровня (SOTA) производительности при переносе без обучения. Кроме того, CPCANet является архитектурно-независимым и не требует настройки под конкретный набор данных, предлагая простой и эффективный подход к обучению устойчивых представлений при смещении распределения. Код доступен по адресу https://github.com/wish44165/CPCANet.

English

Domain Generalization (DG) aims to learn representations that remain robust under out-of-distribution (OOD) shifts and generalize effectively to unseen target domains. While recent invariant learning strategies and architectural advances have achieved strong performance, explicitly discovering a structured domain-invariant subspace through second-order statistics remains underexplored. In this work, we propose CPCANet, a novel framework grounded in Common Principal Component Analysis (CPCA), which unrolls the iterative Flury-Gautschi (FG) algorithm into fully differentiable neural layers. This approach integrates the statistical properties of CPCA into an end-to-end trainable framework, enforcing the discovery of a shared subspace across diverse domains while preserving interpretability. Experiments on four standard DG benchmarks demonstrate that CPCANet achieves state-of-the-art (SOTA) performance in zero-shot transfer. Moreover, CPCANet is architecture-agnostic and requires no dataset-specific tuning, providing a simple and efficient approach to learning robust representations under distribution shift. Code is available at https://github.com/wish44165/CPCANet.