FedRE: 모델 이종 연합 학습을 위한 표현 얽힘 프레임워크

FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning

November 27, 2025

저자: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li

cs.AI

초록

연합 학습(Federated Learning, FL)은 프라이버시를 침해하지 않으면서 클라이언트 간 협력적 학습을 가능하게 한다. 기존 대부분의 FL 방법이 동종 모델 아키텍처를 가정하지만, 데이터와 자원 측면에서의 클라이언트 이질성은 이러한 가정을 비현실적으로 만들며, 이에 모델 이질적 FL의 필요성이 대두된다. 이 문제를 해결하기 위해 우리는 새로운 형태의 클라이언트 지식인 '얽힌 표현(Entangled Representation)'에 기반한 프레임워크인 FedRE(Federated Representation Entanglement)를 제안한다. FedRE에서 각 클라이언트는 정규화된 무작위 가중치를 사용하여 로컬 표현들을 단일 얽힌 표현으로 집계하고, 동일한 가중치를 적용하여 해당 원-핫 레이블 인코딩을 얽힌 레이블 인코딩으로 통합한다. 이들은 그 후 전역 분류기를 학습시키기 위해 서버에 업로드된다. 학습 동안 각 얽힌 표현은 해당 얽힌 레이블 인코딩을 통해 범주 간 감독을 받으며, 무작위 가중치는 매 라운드마다 재추출되어 다양성을 도입함으로써 전역 분류기의 과도한 자신감을 완화하고 더 평활한 결정 경계를 촉진한다. 더불어, 각 클라이언트는 단일의 범주 간 얽힌 표현과 그에 대응하는 얽힌 레이블 인코딩을 업로드함으로써 표현 역전 공격(Representation Inversion Attack) 위험을 완화하고 통신 오버헤드를 줄인다. 폭넓은 실험을 통해 FedRE가 모델 성능, 프라이버시 보호, 통신 오버헤드 간 효과적인 균형을 달성함을 입증한다. 코드는 https://github.com/AIResearch-Group/FedRE에서 이용 가능하다.

English

Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.