勾配反転攻撃に対する新しいフェデレーテッドラーニングフレームワーク

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

著者: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

要旨

フェデレーテッドラーニング（FL）は、クライアントが生データを共有せずに機械学習モデルを共同でトレーニングすることで、データプライバシーを保護することを目的としています。しかし、最近の研究では、FL中に交換される情報が勾配反転攻撃（GIA）の対象となり、その結果、Secure Multi-party Computing（SMC）、Homomorphic Encryption（HE）、Differential Privacy（DP）などのさまざまなプライバシー保護手法がFLに統合され、このような攻撃を防ぐために利用されています。これらのアプローチはデータプライバシーを保護できる一方で、実質的なプライバシーと有用性のトレードオフを伴います。GIAにおけるFLのプライバシー露出の鍵は、プライベートデータを含むモデルの勾配を頻繁に共有することにあるため、我々は、共有されたパラメータとローカルのプライベートデータとの間の「直接的な接続」を防ぐために、新しい視点で、効果的にプライバシーを保護するFLフレームワークを設計します。具体的には、ハイパーネットワークを利用してローカルモデルのパラメータを生成し、サーバーにアップロードされるのはハイパーネットワークのパラメータのみとなるHypernetwork Federated Learning（HyperFL）フレームワークを提案します。理論的な分析により、提案されたHyperFLの収束速度を示し、幅広い実験結果により、HyperFLのプライバシー保護能力と比較可能なパフォーマンスが示されます。コードはhttps://github.com/Pengxin-Guo/HyperFL で入手可能です。

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.