MoRA: Aggiornamento ad Alto Rango per il Fine-Tuning Efficiente dei Parametri

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

Autori: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Abstract

L'adattamento a basso rango è un metodo popolare di fine-tuning efficiente in termini di parametri per i grandi modelli linguistici. In questo articolo, analizziamo l'impatto dell'aggiornamento a basso rango, come implementato in LoRA. I nostri risultati suggeriscono che il meccanismo di aggiornamento a basso rango potrebbe limitare la capacità dei LLM di apprendere e memorizzare efficacemente nuove conoscenze. Ispirati da questa osservazione, proponiamo un nuovo metodo chiamato MoRA, che utilizza una matrice quadrata per ottenere un aggiornamento ad alto rango mantenendo lo stesso numero di parametri addestrabili. Per raggiungere questo obiettivo, introduciamo operatori non parametrici corrispondenti per ridurre la dimensione di input e aumentare la dimensione di output per la matrice quadrata. Inoltre, questi operatori assicurano che il peso possa essere riunito nei LLM, il che rende il nostro metodo utilizzabile come LoRA. Eseguiamo una valutazione completa del nostro metodo su cinque task: tuning delle istruzioni, ragionamento matematico, pre-training continuo, memoria e pre-training. Il nostro metodo supera LoRA nei task intensivi di memoria e raggiunge prestazioni comparabili negli altri task.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.