FedRand: ランダム化LoRAによるフェデレーテッドラーニングのプライバシー強化 サブパラメータ更新

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

著者: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

要旨

フェデレーテッドラーニング（FL）は、分散型のモデルトレーニングにおいて広く使用されるフレームワークであり、中央サーバーがローカルクライアントのデータに直接アクセスできないようにするものです。しかし、このアプローチでもデータプライバシーを完全に保護できない場合があります。なぜなら、ローカルクライアントのモデルは、集約プロセス中に中央サーバーに公開されるためです。この問題は、FLを用いて視覚言語モデル（VLM）をトレーニングする際にさらに深刻になります。VLMはトレーニングデータのインスタンスを容易に記憶するため、メンバーシップ推論攻撃（MIA）に対して脆弱です。この課題に対処するため、我々はFedRandフレームワークを提案します。このフレームワークでは、クライアントのパラメータの完全なセットを開示しないようにします。具体的には、各クライアントはサーバーからLow-Rank Adaptation（LoRA）のサブパラメータをランダムに選択し、残りのLoRA重みをプライベートパラメータとして保持します。クライアントのプライベートデータセットで両方のパラメータをトレーニングした後、非プライベートのクライアントパラメータのみをサーバーに送り返して集約します。このアプローチにより、クライアント側のVLMパラメータが公開されるリスクを軽減し、データプライバシーを強化します。我々は、FedRandが関連するベースラインと比較してMIAに対する堅牢性を向上させながら、複数のベンチマークデータセットにおいて完全なLoRAパラメータを通信する方法と同等の精度を達成することを実証的に検証しました。

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.