Ein neuer föderierter Lernrahmen gegen Gradienteninversionsangriffe

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

Autoren: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

Zusammenfassung

Federated Learning (FL) zielt darauf ab, den Datenschutz zu schützen, indem es es den Clients ermöglicht, gemeinsam Machine-Learning-Modelle zu trainieren, ohne ihre Rohdaten zu teilen. Allerdings zeigen jüngste Studien, dass die während des FL ausgetauschten Informationen Angriffen durch Gradienteninversion (GIA) ausgesetzt sind und infolgedessen verschiedene datenschutzerhaltende Methoden in das FL integriert wurden, um solche Angriffe abzuwehren, wie Secure Multi-party Computing (SMC), Homomorphe Verschlüsselung (HE) und Differentielle Privatsphäre (DP). Trotz ihrer Fähigkeit, den Datenschutz zu schützen, gehen diese Ansätze zwangsläufig mit erheblichen Datenschutz-Nutzen-Abwägungen einher. Durch eine erneute Betrachtung des Schlüssels zur Datenschutzaussetzung im FL unter GIA, der im häufigen Austausch von Modellgradienten liegt, die private Daten enthalten, nehmen wir eine neue Perspektive ein, indem wir ein neuartiges Datenschutz-FL-Framework entwerfen, das effektiv die "direkte Verbindung" zwischen den gemeinsam genutzten Parametern und den lokalen privaten Daten unterbindet, um sich gegen GIA zu verteidigen. Konkret schlagen wir ein Hypernetwork Federated Learning (HyperFL)-Framework vor, das Hypernetzwerke nutzt, um die Parameter des lokalen Modells zu generieren, wobei nur die Hypernetzwerk-Parameter zum Server hochgeladen werden, um aggregiert zu werden. Theoretische Analysen zeigen die Konvergenzrate des vorgeschlagenen HyperFL, während umfangreiche experimentelle Ergebnisse die datenschutzerhaltende Fähigkeit und die vergleichbare Leistung von HyperFL zeigen. Der Code ist verfügbar unter https://github.com/Pengxin-Guo/HyperFL.

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.