FedRE: Um Framework de Emaranhamento de Representação para Aprendizado Federado com Modelos Heterogêneos
FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
November 27, 2025
Autores: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li
cs.AI
Resumo
A aprendizagem federada (FL) permite o treinamento colaborativo entre clientes sem comprometer a privacidade. Embora a maioria dos métodos existentes de FL assuma arquiteturas de modelo homogéneas, a heterogeneidade dos clientes em termos de dados e recursos torna esta premissa impraticável, motivando a FL com modelos heterogéneos. Para resolver este problema, propomos o Entrelaçamento de Representação Federada (FedRE), uma estrutura baseada numa nova forma de conhecimento do cliente denominada representação entrelaçada. No FedRE, cada cliente agrega as suas representações locais numa única representação entrelaçada utilizando pesos aleatórios normalizados e aplica os mesmos pesos para integrar as codificações one-hot das etiquetas correspondentes na codificação entrelaçada de etiquetas. Estes são depois carregados para o servidor para treinar um classificador global. Durante o treino, cada representação entrelaçada é supervisionada através de categorias via sua codificação entrelaçada de etiquetas, enquanto os pesos aleatórios são reamostrados a cada ronda para introduzir diversidade, mitigando a excessiva confiança do classificador global e promovendo fronteiras de decisão mais suaves. Adicionalmente, cada cliente carrega uma única representação entrelaçada transversal a categorias, juntamente com a sua codificação entrelaçada de etiquetas, mitigando o risco de ataques de inversão de representação e reduzindo a sobrecarga de comunicação. Experiências extensivas demonstram que o FedRE alcança um equilíbrio eficaz entre desempenho do modelo, proteção de privacidade e sobrecarga de comunicação. Os códigos estão disponíveis em https://github.com/AIResearch-Group/FedRE.
English
Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.