FedSVD: Ortogonalización Adaptativa para Aprendizaje Federado Privado con LoRA

FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA

May 19, 2025

Autores: Seanie Lee, Sangwoo Park, Dong Bok Lee, Dominik Wagner, Haebin Seong, Tobias Bocklet, Juho Lee, Sung Ju Hwang

cs.AI

Resumen

La Adaptación de Bajo Rango (LoRA), que introduce un producto de dos matrices entrenables de bajo rango en pesos preentrenados congelados, se utiliza ampliamente para el ajuste fino eficiente de modelos de lenguaje en el aprendizaje federado (FL). Sin embargo, cuando se combina con el descenso de gradiente estocástico con privacidad diferencial (DP-SGD), LoRA enfrenta una amplificación sustancial del ruido: DP-SGD perturba los gradientes por muestra, y la multiplicación de matrices de la actualización de LoRA (BA) intensifica este efecto. Congelar una matriz (por ejemplo, A) reduce el ruido pero restringe la expresividad del modelo, lo que a menudo resulta en una adaptación subóptima. Para abordar esto, proponemos FedSVD, un método simple pero efectivo que introduce una reparametrización global basada en la descomposición en valores singulares (SVD). En nuestro enfoque, cada cliente optimiza solo la matriz B y la transmite al servidor. El servidor agrega las matrices B, calcula el producto BA utilizando la A anterior y refactoriza el resultado mediante SVD. Esto produce una nueva A adaptativa compuesta por los vectores singulares derechos ortonormales de BA, y una B actualizada que contiene los componentes restantes de la SVD. Esta reparametrización evita la amplificación cuadrática del ruido, permitiendo que A capture mejor las direcciones principales de las actualizaciones agregadas. Además, la estructura ortonormal de A limita las normas de los gradientes de B y preserva más señal bajo DP-SGD, como lo confirma nuestro análisis teórico. Como resultado, FedSVD mejora consistentemente la estabilidad y el rendimiento en una variedad de configuraciones de privacidad y benchmarks, superando a las líneas base relevantes tanto en regímenes privados como no privados.

English

Low-Rank Adaptation (LoRA), which introduces a product of two trainable low-rank matrices into frozen pre-trained weights, is widely used for efficient fine-tuning of language models in federated learning (FL). However, when combined with differentially private stochastic gradient descent (DP-SGD), LoRA faces substantial noise amplification: DP-SGD perturbs per-sample gradients, and the matrix multiplication of the LoRA update (BA) intensifies this effect. Freezing one matrix (e.g., A) reduces the noise but restricts model expressiveness, often resulting in suboptimal adaptation. To address this, we propose FedSVD, a simple yet effective method that introduces a global reparameterization based on singular value decomposition (SVD). In our approach, each client optimizes only the B matrix and transmits it to the server. The server aggregates the B matrices, computes the product BA using the previous A, and refactorizes the result via SVD. This yields a new adaptive A composed of the orthonormal right singular vectors of BA, and an updated B containing the remaining SVD components. This reparameterization avoids quadratic noise amplification, while allowing A to better capture the principal directions of the aggregate updates. Moreover, the orthonormal structure of A bounds the gradient norms of B and preserves more signal under DP-SGD, as confirmed by our theoretical analysis. As a result, FedSVD consistently improves stability and performance across a variety of privacy settings and benchmarks, outperforming relevant baselines under both private and non-private regimes.