MoRA: 매개변수 효율적 미세 조정을 위한 고차원 업데이트

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

저자: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

초록

저순위 적응(Low-rank adaptation)은 대규모 언어 모델을 위한 인기 있는 파라미터 효율적 미세 조정 방법입니다. 본 논문에서는 LoRA에서 구현된 저순위 업데이트의 영향을 분석합니다. 우리의 연구 결과에 따르면, 저순위 업데이트 메커니즘이 LLM이 새로운 지식을 효과적으로 학습하고 기억하는 능력을 제한할 수 있음을 시사합니다. 이러한 관찰에서 영감을 받아, 우리는 MoRA라는 새로운 방법을 제안합니다. 이 방법은 동일한 수의 학습 가능한 파라미터를 유지하면서 고순위 업데이트를 달성하기 위해 정방 행렬을 사용합니다. 이를 위해, 우리는 정방 행렬의 입력 차원을 줄이고 출력 차원을 증가시키기 위해 해당하는 비파라미터 연산자를 도입합니다. 더욱이, 이러한 연산자는 가중치가 LLM으로 다시 병합될 수 있도록 보장하여, 우리의 방법이 LoRA처럼 배포될 수 있게 합니다. 우리는 지시 튜닝, 수학적 추론, 지속적 사전 학습, 메모리 및 사전 학습 등 다섯 가지 작업에 걸쳐 우리의 방법을 종합적으로 평가합니다. 우리의 방법은 메모리 집약적인 작업에서 LoRA를 능가하며, 다른 작업에서도 비슷한 성능을 달성합니다.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.