Um Novo Framework de Aprendizado Federado Contra Ataques de Inversão de Gradiente

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

Autores: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

Resumo

A Aprendizagem Federada (FL) tem como objetivo proteger a privacidade dos dados, permitindo que os clientes treinem coletivamente modelos de aprendizado de máquina sem compartilhar seus dados brutos. No entanto, estudos recentes demonstram que as informações trocadas durante a FL estão sujeitas a Ataques de Inversão de Gradiente (GIA) e, consequentemente, uma variedade de métodos de preservação de privacidade foram integrados à FL para frustrar tais ataques, como Computação Segura entre Partes (SMC), Criptografia Homomórfica (HE) e Privacidade Diferencial (DP). Apesar de sua capacidade de proteger a privacidade dos dados, essas abordagens envolvem inerentemente substanciais compensações entre privacidade e utilidade. Ao revisitar a chave para a exposição da privacidade na FL sob GIA, que reside na frequente troca de gradientes do modelo que contêm dados privados, adotamos uma nova perspectiva ao projetar um novo framework de FL de preservação de privacidade que efetivamente "quebra a conexão direta" entre os parâmetros compartilhados e os dados privados locais para se defender contra GIA. Especificamente, propomos um framework de Aprendizagem Federada com Hiperrede (HyperFL) que utiliza hiperredes para gerar os parâmetros do modelo local, sendo que apenas os parâmetros da hiperrede são enviados para o servidor para agregação. Análises teóricas demonstram a taxa de convergência do HyperFL proposto, enquanto extensos resultados experimentais mostram a capacidade de preservação de privacidade e o desempenho comparável do HyperFL. O código está disponível em https://github.com/Pengxin-Guo/HyperFL.

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.