FedRE: un framework di entanglement della rappresentazione per l'apprendimento federato eterogeneo a livello di modello
FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
November 27, 2025
Autori: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li
cs.AI
Abstract
L'apprendimento federato (FL) consente l'addestramento collaborativo tra client senza compromettere la privacy. Sebbene la maggior parte dei metodi FL esistenti presupponga architetture di modello omogenee, l'eterogeneità dei client in termini di dati e risorse rende questa ipotesi impraticabile, motivando l'FL eterogeneo per modello. Per affrontare questo problema, proponiamo la Federated Representation Entanglement (FedRE), un framework basato su una nuova forma di conoscenza del client denominata rappresentazione entangled. In FedRE, ogni client aggrega le sue rappresentazioni locali in una singola rappresentazione entangled utilizzando pesi casuali normalizzati e applica gli stessi pesi per integrare le corrispondenti codifiche one-hot delle etichette nella codifica entangled delle etichette. Queste vengono poi caricate sul server per addestrare un classificatore globale. Durante l'addestramento, ogni rappresentazione entangled è supervisionata attraverso le categorie tramite la sua codifica entangled delle etichette, mentre i pesi casuali vengono ricampionati ogni round per introdurre diversità, mitigando l'eccessiva confidenza del classificatore globale e promuovendo confini decisionali più levigati. Inoltre, ogni client carica una singola rappresentazione entangled trans-categoria insieme alla sua codifica entangled delle etichette, mitigando il rischio di attacchi di inversione della rappresentazione e riducendo il sovraccarico comunicativo. Esperimenti estensivi dimostrano che FedRE raggiunge un efficace compromesso tra prestazioni del modello, protezione della privacy e sovraccarico comunicativo. I codici sono disponibili su https://github.com/AIResearch-Group/FedRE.
English
Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.