Aggregazione Selettiva per l'Adattamento a Basso Rango nel Federated Learning

Selective Aggregation for Low-Rank Adaptation in Federated Learning

October 2, 2024

Autori: Pengxin Guo, Shuang Zeng, Yanran Wang, Huijie Fan, Feifei Wang, Liangqiong Qu

cs.AI

Abstract

Indaghiamo LoRA nell'apprendimento federato attraverso l'analisi dell'asimmetria delle matrici apprese A e B. In tal modo, scopriamo che le matrici A sono responsabili dell'apprendimento della conoscenza generale, mentre le matrici B si concentrano sulla cattura della conoscenza specifica del cliente. Sulla base di questa scoperta, introduciamo Federated Share-A Low-Rank Adaptation (FedSA-LoRA), che impiega due matrici A e B ad basso rango addestrabili per modellare l'aggiornamento dei pesi, ma solo le matrici A sono condivise con il server per l'aggregazione. Inoltre, approfondiamo la relazione tra le matrici A e B apprese in altre varianti di LoRA, come rsLoRA e VeRA, rivelando un modello coerente. Di conseguenza, estendiamo il nostro metodo FedSA-LoRA a queste varianti di LoRA, ottenendo FedSA-rsLoRA e FedSA-VeRA. In questo modo, istituiamo un paradigma generale per integrare LoRA con FL, offrendo indicazioni per lavori futuri su varianti successive di LoRA combinate con FL. Estesi risultati sperimentali su compiti di comprensione e generazione del linguaggio naturale dimostrano l'efficacia del metodo proposto.

English

We investigate LoRA in federated learning through the lens of the asymmetry analysis of the learned A and B matrices. In doing so, we uncover that A matrices are responsible for learning general knowledge, while B matrices focus on capturing client-specific knowledge. Based on this finding, we introduce Federated Share-A Low-Rank Adaptation (FedSA-LoRA), which employs two low-rank trainable matrices A and B to model the weight update, but only A matrices are shared with the server for aggregation. Moreover, we delve into the relationship between the learned A and B matrices in other LoRA variants, such as rsLoRA and VeRA, revealing a consistent pattern. Consequently, we extend our FedSA-LoRA method to these LoRA variants, resulting in FedSA-rsLoRA and FedSA-VeRA. In this way, we establish a general paradigm for integrating LoRA with FL, offering guidance for future work on subsequent LoRA variants combined with FL. Extensive experimental results on natural language understanding and generation tasks demonstrate the effectiveness of the proposed method.