Un Nuevo Marco de Aprendizaje Federado Contra Ataques de Inversión de Gradiente

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

Autores: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

Resumen

El Aprendizaje Federado (FL) tiene como objetivo proteger la privacidad de los datos al permitir que los clientes entrenen colectivamente modelos de aprendizaje automático sin compartir sus datos brutos. Sin embargo, estudios recientes demuestran que la información intercambiada durante el FL está sujeta a Ataques de Inversión de Gradiente (GIA) y, en consecuencia, se han integrado una variedad de métodos de preservación de la privacidad en el FL para contrarrestar tales ataques, como la Computación Segura entre Varios Participantes (SMC), la Encriptación Homomórfica (HE) y la Privacidad Diferencial (DP). A pesar de su capacidad para proteger la privacidad de los datos, estos enfoques implican inherentemente importantes compensaciones entre privacidad y utilidad. Al revisar la clave de la exposición de privacidad en el FL bajo GIA, que radica en el intercambio frecuente de gradientes de modelo que contienen datos privados, adoptamos una nueva perspectiva al diseñar un novedoso marco de FL para preservar la privacidad que efectivamente "rompe la conexión directa" entre los parámetros compartidos y los datos privados locales para defenderse contra GIA. Específicamente, proponemos un marco de Aprendizaje Federado de Hiperred (HyperFL) que utiliza hiperredes para generar los parámetros del modelo local y solo los parámetros de la hiperred se cargan en el servidor para su agregación. Los análisis teóricos demuestran la tasa de convergencia del HyperFL propuesto, mientras que los extensos resultados experimentales muestran la capacidad de preservación de la privacidad y el rendimiento comparable de HyperFL. El código está disponible en https://github.com/Pengxin-Guo/HyperFL.

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.