Selectieve Aggregatie voor Aanpassing van Lage Rangorde in Gefedereerd Leren

Selective Aggregation for Low-Rank Adaptation in Federated Learning

October 2, 2024

Auteurs: Pengxin Guo, Shuang Zeng, Yanran Wang, Huijie Fan, Feifei Wang, Liangqiong Qu

cs.AI

Samenvatting

We onderzoeken LoRA in gefedereerd leren door de asymmetrieanalyse van de geleerde A- en B-matrices te bekijken. Hierbij ontdekken we dat A-matrices verantwoordelijk zijn voor het leren van algemene kennis, terwijl B-matrices zich richten op het vastleggen van klantspecifieke kennis. Op basis van deze bevinding introduceren we Federated Share-A Low-Rank Adaptation (FedSA-LoRA), die twee trainbare matrices A en B met een lage rang gebruikt om de gewichtsaanpassing te modelleren, maar alleen A-matrices worden gedeeld met de server voor aggregatie. Bovendien duiken we in de relatie tussen de geleerde A- en B-matrices in andere LoRA-varianten, zoals rsLoRA en VeRA, waarbij we een consistente patroon onthullen. Als gevolg hiervan breiden we onze FedSA-LoRA methode uit naar deze LoRA-varianten, resulterend in FedSA-rsLoRA en FedSA-VeRA. Op deze manier stellen we een algemeen paradigma vast voor het integreren van LoRA met FL, waarbij we richtlijnen bieden voor toekomstig werk aan daaropvolgende LoRA-varianten gecombineerd met FL. Uitgebreide experimentele resultaten op taken voor natuurlijke taalbegrip en -generatie tonen de effectiviteit van de voorgestelde methode aan.

English

We investigate LoRA in federated learning through the lens of the asymmetry analysis of the learned A and B matrices. In doing so, we uncover that A matrices are responsible for learning general knowledge, while B matrices focus on capturing client-specific knowledge. Based on this finding, we introduce Federated Share-A Low-Rank Adaptation (FedSA-LoRA), which employs two low-rank trainable matrices A and B to model the weight update, but only A matrices are shared with the server for aggregation. Moreover, we delve into the relationship between the learned A and B matrices in other LoRA variants, such as rsLoRA and VeRA, revealing a consistent pattern. Consequently, we extend our FedSA-LoRA method to these LoRA variants, resulting in FedSA-rsLoRA and FedSA-VeRA. In this way, we establish a general paradigm for integrating LoRA with FL, offering guidance for future work on subsequent LoRA variants combined with FL. Extensive experimental results on natural language understanding and generation tasks demonstrate the effectiveness of the proposed method.