FedRand: Miglioramento della Privacy nell'Apprendimento Federato con Aggiornamenti Randomizzati dei Sottoparametri LoRA

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

Autori: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

Abstract

Il Federated Learning (FL) è un framework ampiamente utilizzato per addestrare modelli in modo decentralizzato, garantendo che il server centrale non abbia accesso diretto ai dati dei client locali. Tuttavia, questo approccio potrebbe non preservare completamente la privacy dei dati, poiché i modelli dei client locali vengono esposti al server centrale durante il processo di aggregazione. Questo problema diventa ancora più critico quando si addestrano modelli visione-linguaggio (VLMs) con il FL, poiché i VLMs possono memorizzare facilmente le istanze dei dati di addestramento, rendendoli vulnerabili ad attacchi di inferenza di appartenenza (MIAs). Per affrontare questa sfida, proponiamo il framework FedRand, che evita di divulgare l'intero set di parametri dei client. In questo framework, ogni client seleziona casualmente dei sottoparametri di Low-Rank Adaptation (LoRA) dal server e mantiene le controparti rimanenti dei pesi LoRA come parametri privati. Dopo aver addestrato entrambi i parametri sul dataset privato del client, solo i parametri non privati del client vengono inviati al server per l'aggregazione. Questo approccio mitiga il rischio di esporre i parametri VLM lato client, migliorando così la privacy dei dati. Validiamo empiricamente che FedRand migliora la robustezza contro gli MIAs rispetto ai baseline rilevanti, raggiungendo un'accuratezza comparabile ai metodi che comunicano l'intero set di parametri LoRA su diversi dataset di benchmark.

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.