MoRA: Hochrangiges Aktualisieren für parameter-effizientes Feinabstimmen

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

Autoren: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Zusammenfassung

Die Anpassung niedriger Ränge ist eine beliebte parameter-effiziente Feinabstimmungsmethode für große Sprachmodelle. In diesem Papier analysieren wir die Auswirkungen des niedrig-rangigen Updates, wie es in LoRA implementiert ist. Unsere Ergebnisse legen nahe, dass der Mechanismus des niedrig-rangigen Updates die Fähigkeit von LLMs, effektiv neues Wissen zu lernen und zu behalten, einschränken kann. Inspiriert von dieser Beobachtung schlagen wir eine neue Methode namens MoRA vor, die eine quadratische Matrix verwendet, um ein hochrangiges Update zu erreichen, während die gleiche Anzahl trainierbarer Parameter beibehalten wird. Um dies zu erreichen, führen wir entsprechende nicht-parametrische Operatoren ein, um die Eingabedimension zu reduzieren und die Ausgabedimension für die quadratische Matrix zu erhöhen. Darüber hinaus stellen diese Operatoren sicher, dass das Gewicht wieder in die LLMs integriert werden kann, was unsere Methode wie LoRA einsetzbar macht. Wir führen eine umfassende Bewertung unserer Methode über fünf Aufgaben durch: Anweisungsabstimmung, mathematisches Denken, kontinuierliches Vortraining, Gedächtnis und Vortraining. Unsere Methode übertrifft LoRA bei speicherintensiven Aufgaben und erzielt vergleichbare Leistungen bei anderen Aufgaben.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.