MoRA: Hoog-rang bijwerken voor parameter-efficiënte fine-tuning

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

Auteurs: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Samenvatting

Low-rank adaptatie is een populaire parameter-efficiënte fine-tuning methode voor grote taalmodellen. In dit artikel analyseren we de impact van low-rank updates, zoals geïmplementeerd in LoRA. Onze bevindingen suggereren dat het low-rank update mechanisme het vermogen van grote taalmodellen om effectief nieuwe kennis te leren en te onthouden, kan beperken. Geïnspireerd door deze observatie stellen we een nieuwe methode voor genaamd MoRA, die een vierkante matrix gebruikt om high-rank updates te bereiken terwijl hetzelfde aantal trainbare parameters behouden blijft. Om dit te bereiken, introduceren we de bijbehorende niet-parameter operatoren om de invoerdimensie te verkleinen en de uitvoerdimensie voor de vierkante matrix te vergroten. Bovendien zorgen deze operatoren ervoor dat het gewicht terug kan worden samengevoegd in grote taalmodellen, waardoor onze methode net als LoRA kan worden ingezet. We voeren een uitgebreide evaluatie van onze methode uit over vijf taken: instructie-tuning, wiskundig redeneren, voortgezette pretraining, geheugen en pretraining. Onze methode presteert beter dan LoRA bij geheugenintensieve taken en behaalt vergelijkbare prestaties bij andere taken.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.