도메인 일반화를 위한 투영 추적 CPCANet

초록

도메인 일반화(DG)는 분포 변화에 강건한 표현을 학습하는 것을 목표로 한다. 최근의 기하학적 정렬 방법, 예를 들어 CPCANet은 미니배치 단위의 공통 주성분 분석(CPCA)을 통해 도메인 불변 구조를 추출한다. 그러나 CPCANet은 미니배치 학습 시 소표본 문제로 인해 계수 부족 공분산 추정 문제를 겪는다. 이러한 한계를 극복하기 위해, 본 논문에서는 공분산 없이 스티펠 다양체(Stiefel manifold) 위에서 전역적 직교 기저를 학습하고, 이를 켤리 변환(Cayley transform)을 통해 네트워크 파라미터와 공동 최적화하는 투영 추적 CPCANet(PP-CPCANet)을 제안한다. 또한, 대칭 파괴 분리-중앙값 PP 분산 목적 함수를 도입하여 조밀하고 강건한 최적화 신호로 공통 주성분(CPC)을 추출한다. 네 가지 DG 벤치마크 실험 결과, PP-CPCANet은 안정적인 훈련을 유지하면서 최고 수준의 성능을 달성함을 보여준다.

English

Domain Generalization (DG) aims to learn representations robust to distribution shifts. Recent geometric alignment methods, such as CPCANet, extract domain-invariant structures through batch-wise Common Principal Component Analysis (CPCA). However, CPCANet suffers from rank-deficient covariance estimation due to the small-sample-size issue in mini-batch training. To address this limitation, we propose Projection Pursuit CPCANet (PP-CPCANet), a covariance-free framework that learns a global orthogonal basis on the Stiefel manifold and jointly optimizes it with network parameters via the Cayley transform. We further introduce a symmetry-breaking detached-median PP dispersion objective to extract common principal components (CPCs) with dense and robust optimization signals. Experiments on four DG benchmarks show that PP-CPCANet achieves SOTA performance while maintaining stable training.