FedRE: Un Marco de Enredo de Representaciones para el Aprendizaje Federado con Modelos Heterogéneos
FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
November 27, 2025
Autores: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li
cs.AI
Resumen
El aprendizaje federado (FL) permite el entrenamiento colaborativo entre clientes sin comprometer la privacidad. Si bien la mayoría de los métodos de FL existentes asumen arquitecturas de modelo homogéneas, la heterogeneidad de los clientes en datos y recursos hace que este supuesto sea poco práctico, lo que motiva el FL con modelos heterogéneos. Para abordar este problema, proponemos Federated Representation Entanglement (FedRE), un marco basado en una forma novedosa de conocimiento del cliente denominada representación entrelazada. En FedRE, cada cliente agrega sus representaciones locales en una única representación entrelazada utilizando pesos aleatorios normalizados y aplica los mismos pesos para integrar las codificaciones de etiquetas one-hot correspondientes en la codificación de etiqueta entrelazada. Estos se cargan luego al servidor para entrenar un clasificador global. Durante el entrenamiento, cada representación entrelazada se supervisa entre categorías mediante su codificación de etiqueta entrelazada, mientras que los pesos aleatorios se remuestrean en cada ronda para introducir diversidad, mitigando el exceso de confianza del clasificador global y promoviendo límites de decisión más suaves. Además, cada cliente carga una única representación entrelazada entre categorías junto con su codificación de etiqueta entrelazada, mitigando el riesgo de ataques de inversión de representación y reduciendo la sobrecarga de comunicación. Experimentos exhaustivos demuestran que FedRE logra un equilibrio efectivo entre el rendimiento del modelo, la protección de la privacidad y la sobrecarga de comunicación. Los códigos están disponibles en https://github.com/AIResearch-Group/FedRE.
English
Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.