FedRand: Aprimorando a Privacidade no Aprendizado Federado com Atualizações Randomizadas de Subparâmetros LoRA

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

Autores: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

Resumo

O Aprendizado Federado (FL) é uma estrutura amplamente utilizada para treinar modelos de forma descentralizada, garantindo que o servidor central não tenha acesso direto aos dados dos clientes locais. No entanto, essa abordagem ainda pode falhar em preservar totalmente a privacidade dos dados, uma vez que os modelos dos clientes locais são expostos ao servidor central durante o processo de agregação. Esse problema se torna ainda mais crítico ao treinar modelos visão-linguagem (VLMs) com FL, pois os VLMs podem facilmente memorizar instâncias de dados de treinamento, tornando-os vulneráveis a ataques de inferência de associação (MIAs). Para enfrentar esse desafio, propomos a estrutura FedRand, que evita a divulgação do conjunto completo de parâmetros dos clientes. Nessa estrutura, cada cliente seleciona aleatoriamente subparâmetros de Adaptação de Baixa Ordem (LoRA) do servidor e mantém as contrapartes restantes dos pesos LoRA como parâmetros privados. Após o treinamento de ambos os parâmetros no conjunto de dados privado do cliente, apenas os parâmetros não privados do cliente são enviados de volta ao servidor para agregação. Essa abordagem mitiga o risco de exposição dos parâmetros VLM do lado do cliente, melhorando assim a privacidade dos dados. Validamos empiricamente que o FedRand aumenta a robustez contra MIAs em comparação com baselines relevantes, ao mesmo tempo em que alcança uma precisão comparável a métodos que comunicam todos os parâmetros LoRA em vários conjuntos de dados de referência.

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.