FedRand: Mejorando la Privacidad en el Aprendizaje Federado con Actualizaciones Aleatorias de LoRA en Subparámetros

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

Autores: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

Resumen

El Aprendizaje Federado (FL, por sus siglas en inglés) es un marco ampliamente utilizado para entrenar modelos de manera descentralizada, asegurando que el servidor central no tenga acceso directo a los datos de los clientes locales. Sin embargo, este enfoque puede no preservar completamente la privacidad de los datos, ya que los modelos de los clientes locales quedan expuestos al servidor central durante el proceso de agregación. Este problema se vuelve aún más crítico al entrenar modelos de visión y lenguaje (VLMs) con FL, ya que los VLMs pueden memorizar fácilmente instancias de datos de entrenamiento, haciéndolos vulnerables a ataques de inferencia de pertenencia (MIAs). Para abordar este desafío, proponemos el marco FedRand, que evita la divulgación del conjunto completo de parámetros de los clientes. En este marco, cada cliente selecciona aleatoriamente subparámetros de Adaptación de Bajo Rango (LoRA) del servidor y mantiene las contrapartes restantes de los pesos LoRA como parámetros privados. Después de entrenar ambos parámetros en el conjunto de datos privados del cliente, solo los parámetros no privados se envían de vuelta al servidor para su agregación. Este enfoque mitiga el riesgo de exponer los parámetros de los VLMs en el lado del cliente, mejorando así la privacidad de los datos. Validamos empíricamente que FedRand mejora la robustez frente a MIAs en comparación con líneas de base relevantes, al tiempo que logra una precisión comparable a los métodos que comunican parámetros LoRA completos en varios conjuntos de datos de referencia.

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.