FedRand: 랜덤화된 LoRA를 통한 연합 학습의 프라이버시 강화 서브파라미터 업데이트

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

저자: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

초록

연합 학습(Federated Learning, FL)은 중앙 서버가 로컬 클라이언트의 데이터에 직접 접근하지 않으면서도 분산 방식으로 모델을 학습할 수 있도록 널리 사용되는 프레임워크입니다. 그러나 이 접근법은 여전히 데이터 프라이버시를 완전히 보호하지 못할 수 있는데, 이는 로컬 클라이언트의 모델이 중앙 서버에 노출되는 집계 과정에서 발생합니다. 이러한 문제는 특히 비전-언어 모델(Vision-Language Models, VLMs)을 FL로 학습할 때 더욱 심각해지는데, VLMs는 학습 데이터 인스턴스를 쉽게 기억할 수 있어 멤버십 추론 공격(Membership Inference Attacks, MIAs)에 취약해질 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 FedRand 프레임워크를 제안합니다. 이 프레임워크는 클라이언트의 전체 매개변수를 공개하지 않도록 설계되었습니다. 이 프레임워크에서 각 클라이언트는 서버로부터 Low-Rank Adaptation(LoRA)의 하위 매개변수를 무작위로 선택하고, 나머지 LoRA 가중치를 비공개 매개변수로 유지합니다. 클라이언트의 비공개 데이터셋에서 두 매개변수를 모두 학습한 후, 비공개가 아닌 클라이언트 매개변수만 서버로 전송되어 집계됩니다. 이 접근법은 클라이언트 측 VLM 매개변수가 노출될 위험을 완화함으로써 데이터 프라이버시를 강화합니다. 우리는 실험을 통해 FedRand가 관련 베이스라인에 비해 MIAs에 대한 견고성을 개선하면서도 여러 벤치마크 데이터셋에서 전체 LoRA 매개변수를 전송하는 방법과 비슷한 정확도를 달성함을 검증했습니다.

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.