FedRE: Ein Framework zur Darstellungsverschränkung für modellheterogenes Federated Learning

FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning

November 27, 2025

papers.authors: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li

cs.AI

papers.abstract

Federated Learning (FL) ermöglicht eine gemeinsame Modellierung über mehrere Clients hinweg, ohne die Privatsphäre zu gefährden. Während die meisten bestehenden FL-Methoden von homogenen Modellarchitekturen ausgehen, macht die Heterogenität der Clients in Bezug auf Daten und Ressourcen diese Annahme unpraktikabel, was modellheterogenes FL motiviert. Um dieses Problem zu lösen, schlagen wir Federated Representation Entanglement (FedRE) vor, ein Framework, das auf einer neuartigen Form von Client-Wissen basiert, der sogenannten verschränkten Repräsentation. In FedRE aggregiert jeder Client seine lokalen Repräsentationen mithilfe normalisierter Zufallsgewichte zu einer einzigen verschränkten Repräsentation und wendet dieselben Gewichte an, um die entsprechenden One-Hot-Label-Kodierungen in die verschränkte Label-Kodierung zu integrieren. Diese werden dann an den Server hochgeladen, um einen globalen Klassifikator zu trainieren. Während des Trainings wird jede verschränkte Repräsentation über ihre verschränkte Label-Kodierung kategorienübergreifend überwacht, während die Zufallsgewichte in jeder Runde neu abgetastet werden, um Diversität einzuführen, die Überkonfidenz des globalen Klassifikators zu reduzieren und glattere Entscheidungsgrenzen zu fördern. Darüber hinaus lädt jeder Client nur eine einzige kategorienübergreifende verschränkte Repräsentation zusammen mit ihrer verschränkten Label-Kodierung hoch, was das Risiko von Repräsentations-Inversionsangriffen mindert und den Kommunikationsaufwand verringert. Umfangreiche Experimente zeigen, dass FedRE eine effektive Balance zwischen Modellleistung, Privatsphärenschutz und Kommunikationsaufwand erreicht. Die Codes sind verfügbar unter https://github.com/AIResearch-Group/FedRE.

English

Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.