CPCANet: ドメイン汎化のための深層展開型共通主成分分析

要旨

ドメイン汎化（DG）は、分布外（OOD）シフトに対して頑健な表現を学習し、未知のターゲットドメインに効果的に汎化することを目的としています。近年の不変性学習戦略やアーキテクチャの進歩により高い性能が達成されていますが、二次統計量を通じて構造化されたドメイン不変部分空間を明示的に発見するアプローチは未だ十分に探究されていません。本研究では、Common Principal Component Analysis（CPCA）に基づく新しいフレームワーク「CPCANet」を提案します。この手法は、反復的なFlury-Gautschi（FG）アルゴリズムを完全微分可能なニューラルネットワーク層に展開し、統計的特性をエンドツーエンド学習可能なフレームワークに統合します。これにより、解釈可能性を保ちつつ多様なドメインにわたる共有部分空間の発見を促進します。4つの標準DGベンチマークにおける実験では、CPCANetがゼロショット転移において最先端（SOTA）の性能を達成することが示されました。さらに、CPCANetはアーキテクチャに依存せず、データセット固有のチューニングを必要としないため、分布シフト下での頑健な表現学習に向けた簡潔で効率的なアプローチを提供します。コードはhttps://github.com/wish44165/CPCANetで公開されています。

English

Domain Generalization (DG) aims to learn representations that remain robust under out-of-distribution (OOD) shifts and generalize effectively to unseen target domains. While recent invariant learning strategies and architectural advances have achieved strong performance, explicitly discovering a structured domain-invariant subspace through second-order statistics remains underexplored. In this work, we propose CPCANet, a novel framework grounded in Common Principal Component Analysis (CPCA), which unrolls the iterative Flury-Gautschi (FG) algorithm into fully differentiable neural layers. This approach integrates the statistical properties of CPCA into an end-to-end trainable framework, enforcing the discovery of a shared subspace across diverse domains while preserving interpretability. Experiments on four standard DG benchmarks demonstrate that CPCANet achieves state-of-the-art (SOTA) performance in zero-shot transfer. Moreover, CPCANet is architecture-agnostic and requires no dataset-specific tuning, providing a simple and efficient approach to learning robust representations under distribution shift. Code is available at https://github.com/wish44165/CPCANet.

CPCANet: ドメイン汎化のための深層展開型共通主成分分析

CPCANet: Deep Unfolding Common Principal Component Analysis for Domain Generalization

要旨

Support