投影追跡CPCANetによるドメイン汎化

要旨

ドメイン汎化（Domain Generalization, DG）は、分布のシフトに対してロバストな表現を学習することを目的とする。近年の幾何学的アライメント手法、例えばCPCANetは、ミニバッチ単位での共通主成分分析（CPCA）を通じてドメイン不変な構造を抽出する。しかしながら、CPCANetはミニバッチ学習における小サンプルサイズ問題に起因して、ランク欠損の共分散推定を生じる。この制約に対処するため、本稿では共分散フレームワークである射影追跡CPCANet（PP-CPCANet）を提案する。本手法はスティーフェル多様体上で大域的正交基底を学習し、ケイリー変換を介してネットワークパラメータと共に当該基底を同時最適化する。さらに、対称性を破る分離中央値型PP分散目的関数を導入し、密でロバストな最適化信号により共通主成分（CPC）を抽出する。4つのDGベンチマークにおける実験により、PP-CPCANetは安定した学習を維持しつつ、最先端（SOTA）性能を達成することを示す。

English

Domain Generalization (DG) aims to learn representations robust to distribution shifts. Recent geometric alignment methods, such as CPCANet, extract domain-invariant structures through batch-wise Common Principal Component Analysis (CPCA). However, CPCANet suffers from rank-deficient covariance estimation due to the small-sample-size issue in mini-batch training. To address this limitation, we propose Projection Pursuit CPCANet (PP-CPCANet), a covariance-free framework that learns a global orthogonal basis on the Stiefel manifold and jointly optimizes it with network parameters via the Cayley transform. We further introduce a symmetry-breaking detached-median PP dispersion objective to extract common principal components (CPCs) with dense and robust optimization signals. Experiments on four DG benchmarks show that PP-CPCANet achieves SOTA performance while maintaining stable training.