FedRE: モデル非均質性を有するフェデレーテッドラーニングのための表現エンタングルメントフレームワーク

FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning

November 27, 2025

著者: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li

cs.AI

要旨

フェデレーテッドラーニング（FL）は、プライバシーを損なうことなくクライアント間での協調的な学習を可能にする。既存のFL手法の多くは均質なモデルアーキテクチャを仮定しているが、データやリソースにおけるクライアントの異質性により、この仮定は非現実的であり、モデル異質性FLの必要性が高まっている。この問題に対処するため、我々は新たなクライアント知識の形態である「連成表現」に基づくフレームワーク、Federated Representation Entanglement（FedRE）を提案する。FedREでは、各クライアントがローカルな表現を正規化されたランダム重みを用いて単一の連成表現に集約し、同じ重みを対応するone-hotラベル符号化に適用して連成ラベル符号化を生成する。これらはサーバーにアップロードされ、グローバル分類器の学習に用いられる。学習中、各連成表現はその連成ラベル符号化を介してカテゴリ横断的に監督され、ランダム重みは各ラウンドで再サンプリングされることで多様性が導入され、グローバル分類器の過信を抑制し、より滑らかな決定境界を促進する。さらに、各クライアントは単一のカテゴリ横断的連成表現とその連成ラベル符号化のみをアップロードするため、表現逆変換攻撃のリスクを軽減し、通信オーバーヘッドを低減する。大規模な実験により、FedREがモデル性能、プライバシー保護、通信オーバーヘッドの間で効果的なトレードオフを実現することを示す。コードはhttps://github.com/AIResearch-Group/FedRE で公開されている。

English

Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.