Un nouveau cadre d'apprentissage fédéré contre les attaques par inversion de gradient

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

Auteurs: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

Résumé

L'apprentissage fédéré (FL) vise à protéger la confidentialité des données en permettant aux clients d'entraîner collectivement des modèles d'apprentissage automatique sans partager leurs données brutes. Cependant, des études récentes démontrent que les informations échangées lors de l'FL sont sujettes aux attaques par inversion de gradient (GIA) et, par conséquent, diverses méthodes de préservation de la confidentialité ont été intégrées à l'FL pour contrer de telles attaques, telles que le Calcul Sécurisé Entre Plusieurs Parties (SMC), le Cryptage Homomorphique (HE) et la Confidentialité Différentielle (DP). Malgré leur capacité à protéger la confidentialité des données, ces approches impliquent intrinsèquement des compromis importants entre la confidentialité et l'utilité. En revisitant la clé de l'exposition à la confidentialité dans l'FL sous GIA, qui réside dans le partage fréquent des gradients de modèle contenant des données privées, nous adoptons une nouvelle perspective en concevant un nouveau cadre d'apprentissage fédéré préservant la confidentialité qui rompt efficacement le "lien direct" entre les paramètres partagés et les données privées locales pour se défendre contre les GIA. Plus précisément, nous proposons un cadre d'apprentissage fédéré Hypernetwork (HyperFL) qui utilise des hypernetworks pour générer les paramètres du modèle local et seuls les paramètres de l'hypernetwork sont téléchargés sur le serveur pour l'agrégation. Des analyses théoriques démontrent le taux de convergence du HyperFL proposé, tandis que des résultats expérimentaux approfondis montrent la capacité de préservation de la confidentialité et les performances comparables de HyperFL. Le code est disponible sur https://github.com/Pengxin-Guo/HyperFL.

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.