フェデレーテッドラーニングにおける低ランク適応のための選択的集約

Selective Aggregation for Low-Rank Adaptation in Federated Learning

October 2, 2024

著者: Pengxin Guo, Shuang Zeng, Yanran Wang, Huijie Fan, Feifei Wang, Liangqiong Qu

cs.AI

要旨

我々は、学習されたAおよびB行列の非対称性解析を通じて、フェデレーテッドラーニングにおけるLoRAを調査しています。この過程で、A行列が一般的な知識を学習する責務を持ち、一方でB行列はクライアント固有の知識を捉えることに焦点を当てていることが明らかになりました。この発見に基づき、我々はFederated Share-A Low-Rank Adaptation（FedSA-LoRA）を導入しました。この手法は、重みの更新をモデル化するために2つの低ランクトレーニング可能な行列AおよびBを使用しますが、集約のためにサーバーと共有されるのはA行列のみです。さらに、rsLoRAやVeRAなどの他のLoRA変種における学習されたAおよびB行列の関係について探求し、一貫したパターンを明らかにしました。その結果、FedSA-LoRA手法をこれらのLoRA変種に拡張し、FedSA-rsLoRAおよびFedSA-VeRAを生み出しました。これにより、LoRAをFLと統合する一般的なパラダイムを確立し、FLと組み合わせた後続のLoRA変種に関する将来の研究へのガイダンスを提供しています。自然言語理解および生成タスクにおける幅広い実験結果は、提案手法の効果を実証しています。

English

We investigate LoRA in federated learning through the lens of the asymmetry analysis of the learned A and B matrices. In doing so, we uncover that A matrices are responsible for learning general knowledge, while B matrices focus on capturing client-specific knowledge. Based on this finding, we introduce Federated Share-A Low-Rank Adaptation (FedSA-LoRA), which employs two low-rank trainable matrices A and B to model the weight update, but only A matrices are shared with the server for aggregation. Moreover, we delve into the relationship between the learned A and B matrices in other LoRA variants, such as rsLoRA and VeRA, revealing a consistent pattern. Consequently, we extend our FedSA-LoRA method to these LoRA variants, resulting in FedSA-rsLoRA and FedSA-VeRA. In this way, we establish a general paradigm for integrating LoRA with FL, offering guidance for future work on subsequent LoRA variants combined with FL. Extensive experimental results on natural language understanding and generation tasks demonstrate the effectiveness of the proposed method.