MoRA : Mise à jour de haut rang pour un réglage fin efficace en paramètres

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

Auteurs: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Résumé

L'adaptation à faible rang est une méthode populaire de réglage fin efficace en paramètres pour les grands modèles de langage. Dans cet article, nous analysons l'impact de la mise à jour à faible rang, telle qu'implémentée dans LoRA. Nos résultats suggèrent que le mécanisme de mise à jour à faible rang pourrait limiter la capacité des LLM à apprendre et à mémoriser efficacement de nouvelles connaissances. Inspirés par cette observation, nous proposons une nouvelle méthode appelée MoRA, qui utilise une matrice carrée pour réaliser une mise à jour à haut rang tout en conservant le même nombre de paramètres entraînables. Pour y parvenir, nous introduisons les opérateurs non paramétriques correspondants pour réduire la dimension d'entrée et augmenter la dimension de sortie pour la matrice carrée. De plus, ces opérateurs garantissent que le poids peut être réintégré dans les LLM, ce qui permet à notre méthode d'être déployée comme LoRA. Nous effectuons une évaluation complète de notre méthode sur cinq tâches : réglage par instruction, raisonnement mathématique, pré-entraînement continu, mémoire et pré-entraînement. Notre méthode surpasse LoRA sur les tâches intensives en mémoire et obtient des performances comparables sur les autres tâches.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.