Een Nieuw Gefedereerd Leerframework Tegen Gradient Inversieaanvallen

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

Auteurs: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

Samenvatting

Federated Learning (FL) heeft als doel de gegevensprivacy te beschermen door klanten gezamenlijk machine learning modellen te laten trainen zonder hun ruwe gegevens te delen. Recent onderzoek toont echter aan dat informatie die tijdens FL wordt uitgewisseld, vatbaar is voor Gradient Inversion Attacks (GIA) en daarom zijn verschillende privacybehoudende methoden geïntegreerd in FL om dergelijke aanvallen te dwarsbomen, zoals Secure Multi-party Computing (SMC), Homomorfe Encryptie (HE) en Differentiële Privacy (DP). Ondanks hun vermogen om gegevensprivacy te beschermen, gaan deze benaderingen inherent gepaard met aanzienlijke privacy-hulpprogramma trade-offs. Door de sleutel tot privacyblootstelling in FL onder GIA opnieuw te bekijken, die ligt in het frequente delen van modelgradiënten die privégegevens bevatten, nemen we een nieuwe benadering door een nieuw privacybehoudend FL-framework te ontwerpen dat effectief de "directe verbinding" tussen de gedeelde parameters en de lokale privégegevens verbreekt om zich te verdedigen tegen GIA. Specifiek stellen we een Hypernetwork Federated Learning (HyperFL) framework voor dat hypernetwerken gebruikt om de parameters van het lokale model te genereren en alleen de hypernetwerkparameters worden geüpload naar de server voor aggregatie. Theoretische analyses tonen de convergentiesnelheid van het voorgestelde HyperFL aan, terwijl uitgebreide experimentele resultaten de privacybehoudende capaciteit en vergelijkbare prestaties van HyperFL aantonen. De code is beschikbaar op https://github.com/Pengxin-Guo/HyperFL.

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.