FedRand: Verbetering van privacy in federated learning met gerandomiseerde LoRA-subparameterupdates

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

Auteurs: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

Samenvatting

Federated Learning (FL) is een veelgebruikt raamwerk voor het trainen van modellen op een gedecentraliseerde manier, waarbij wordt gewaarborgd dat de centrale server geen directe toegang heeft tot gegevens van lokale clients. Deze aanpak kan echter nog steeds tekortschieten in het volledig waarborgen van gegevensprivacy, omdat modellen van lokale clients worden blootgesteld aan de centrale server tijdens het aggregatieproces. Dit probleem wordt nog kritischer bij het trainen van vision-language modellen (VLMs) met FL, aangezien VLMs gemakkelijk trainingsgegevens kunnen onthouden, waardoor ze kwetsbaar zijn voor membership inference attacks (MIAs). Om deze uitdaging aan te pakken, stellen we het FedRand-raamwerk voor, waarbij de volledige set clientparameters niet wordt vrijgegeven. In dit raamwerk selecteert elke client willekeurig subparameters van Low-Rank Adaptation (LoRA) van de server en houdt de overige LoRA-gewichten als privéparameters. Na het trainen van beide parameters op de privédataset van de client, worden alleen de niet-privé clientparameters teruggestuurd naar de server voor aggregatie. Deze aanpak vermindert het risico van blootstelling van client-side VLM-parameters, waardoor de gegevensprivacy wordt verbeterd. We valideren empirisch dat FedRand de robuustheid tegen MIAs verbetert in vergelijking met relevante baseline-methoden, terwijl het een nauwkeurigheid bereikt die vergelijkbaar is met methoden die volledige LoRA-parameters communiceren over verschillende benchmarkdatasets.

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.