FedRE : Un cadre d'intrication des représentations pour l'apprentissage fédéré hétérogène
FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
November 27, 2025
papers.authors: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li
cs.AI
papers.abstract
L'apprentissage fédéré (FL) permet un entraînement collaboratif entre clients sans compromettre la confidentialité. Bien que la plupart des méthodes existantes de FL supposent des architectures de modèles homogènes, l'hétérogénéité des clients en termes de données et de ressources rend cette hypothèse irréaliste, motivant ainsi le développement de FL à modèles hétérogènes. Pour résoudre ce problème, nous proposons Federated Representation Entanglement (FedRE), un cadre fondé sur une nouvelle forme de connaissance client appelée représentation entrelacée. Dans FedRE, chaque client agrège ses représentations locales en une seule représentation entrelacée en utilisant des poids aléatoires normalisés, et applique les mêmes poids pour intégrer les encodages d'étiquettes one-hot correspondants dans un encodage d'étiquette entrelacée. Ceux-ci sont ensuite téléversés sur le serveur pour entraîner un classifieur global. Durant l'entraînement, chaque représentation entrelacée est supervisée across les catégories via son encodage d'étiquette entrelacée, tandis que les poids aléatoires sont rééchantillonnés à chaque round pour introduire de la diversité, atténuant la surconfiance du classifieur global et favorisant des frontières de décision plus lisses. De plus, chaque client téléverse une seule représentation entrelacée transversale aux catégories ainsi que son encodage d'étiquette entrelacée, réduisant ainsi le risque d'attaques par inversion de représentation et diminuant la surcharge de communication. Des expériences approfondies démontrent que FedRE atteint un compromis efficace entre performance du modèle, protection de la vie privée et surcharge de communication. Les codes sont disponibles à l'adresse https://github.com/AIResearch-Group/FedRE.
English
Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.