MoRA: パラメータ効率的なファインチューニングのための高ランク更新

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

著者: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

要旨

低ランク適応（Low-rank Adaptation）は、大規模言語モデルのパラメータ効率の良いファインチューニング手法として広く用いられています。本論文では、LoRAで実装されている低ランク更新の影響を分析します。我々の研究結果は、低ランク更新メカニズムがLLMが新しい知識を効果的に学習し記憶する能力を制限する可能性があることを示唆しています。この観察に基づき、我々はMoRAと呼ばれる新しい手法を提案します。MoRAは正方行列を用いて高ランク更新を実現しつつ、学習可能なパラメータ数を維持します。これを実現するため、我々は入力次元を削減し出力次元を増加させるための非パラメータ演算子を導入します。さらに、これらの演算子は重みをLLMにマージ可能にするため、LoRAと同様に我々の手法を展開できます。我々は、指示チューニング、数学的推論、継続的事前学習、記憶、事前学習の5つのタスクにおいて本手法を包括的に評価しました。我々の手法は、記憶集約型タスクにおいてLoRAを上回り、他のタスクでも同等の性能を達成しました。

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.