FedRand: Повышение конфиденциальности в федеративном обучении с использованием рандомизированных обновлений субпараметров LoRA

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

Авторы: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

Аннотация

Федеративное обучение (FL) — это широко используемая структура для обучения моделей в децентрализованной манере, обеспечивающая, чтобы центральный сервер не имел прямого доступа к данным локальных клиентов. Однако этот подход может все же не полностью обеспечивать сохранение конфиденциальности данных, поскольку модели от локальных клиентов становятся доступны центральному серверу в процессе агрегации. Эта проблема становится еще более критичной при обучении моделей, работающих с визуальными и текстовыми данными (VLMs), с использованием FL, так как VLMs могут легко запоминать экземпляры обучающих данных, что делает их уязвимыми к атакам на вывод членства (MIAs). Для решения этой задачи мы предлагаем структуру FedRand, которая позволяет избежать раскрытия полного набора параметров клиентов. В этой структуре каждый клиент случайным образом выбирает подпараметры адаптации низкого ранга (LoRA) с сервера и сохраняет оставшиеся части весов LoRA как приватные параметры. После обучения обоих параметров на приватном наборе данных клиента только не приватные параметры клиента отправляются обратно на сервер для агрегации. Такой подход снижает риск раскрытия параметров VLMs на стороне клиента, тем самым повышая конфиденциальность данных. Мы эмпирически подтверждаем, что FedRand повышает устойчивость к MIAs по сравнению с соответствующими базовыми методами, достигая при этом точности, сопоставимой с методами, которые передают полные параметры LoRA на нескольких эталонных наборах данных.

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.