FedRE: фреймворк переплетения представлений для модельно-гетерогенного федеративного обучения
FedRE: A Representation Entanglement Framework for Model-Heterogeneous Federated Learning
November 27, 2025
Авторы: Yuan Yao, Lixu Wang, Jiaqi Wu, Jin Song, Simin Chen, Zehua Wang, Zijian Tian, Wei Chen, Huixia Li, Xiaoxiao Li
cs.AI
Аннотация
Федеративное обучение (FL) позволяет проводить совместное обучение на клиентах без ущерба для конфиденциальности. В то время как большинство существующих методов FL предполагают однородные архитектуры моделей, гетерогенность клиентов по данным и ресурсам делает это предположение нереалистичным, что мотивирует развитие FL с гетерогенными моделями. Для решения этой проблемы мы предлагаем Федеративное Переплетение Представлений (FedRE) — фреймворк, основанный на новой форме знаний клиента, называемой переплетённым представлением. В FedRE каждый клиент агрегирует свои локальные представления в единое переплетённое представление с помощью нормализованных случайных весов и применяет те же веса для интеграции соответствующих one-hot кодировок меток в переплетённую кодировку меток. Затем они загружаются на сервер для обучения глобального классификатора. В процессе обучения каждое переплетённое представление контролируется across категорий через свою переплетённую кодировку меток, в то время как случайные веса перевыбираются каждый раунд для внесения разнообразия, что снижает избыточную уверенность глобального классификатора и способствует формированию более гладких границ решений. Кроме того, каждый клиент загружает единственное переплетённое представление across категорий вместе с его переплетённой кодировкой меток, что снижает риск атак инверсии представлений и уменьшает коммуникационные затраты. Многочисленные эксперименты демонстрируют, что FedRE достигает эффективного баланса между производительностью модели, защитой приватности и коммуникационными затратами. Код доступен по адресу https://github.com/AIResearch-Group/FedRE.
English
Federated learning (FL) enables collaborative training across clients without compromising privacy. While most existing FL methods assume homogeneous model architectures, client heterogeneity in data and resources renders this assumption impractical, motivating model-heterogeneous FL. To address this problem, we propose Federated Representation Entanglement (FedRE), a framework built upon a novel form of client knowledge termed entangled representation. In FedRE, each client aggregates its local representations into a single entangled representation using normalized random weights and applies the same weights to integrate the corresponding one-hot label encodings into the entangled-label encoding. Those are then uploaded to the server to train a global classifier. During training, each entangled representation is supervised across categories via its entangled-label encoding, while random weights are resampled each round to introduce diversity, mitigating the global classifier's overconfidence and promoting smoother decision boundaries. Furthermore, each client uploads a single cross-category entangled representation along with its entangled-label encoding, mitigating the risk of representation inversion attacks and reducing communication overhead. Extensive experiments demonstrate that FedRE achieves an effective trade-off among model performance, privacy protection, and communication overhead. The codes are available at https://github.com/AIResearch-Group/FedRE.