MoRA: Actualización de Alto Rango para el Ajuste Fino Eficiente en Parámetros

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

Autores: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Resumen

La adaptación de bajo rango es un método popular de ajuste fino eficiente en parámetros para modelos de lenguaje grandes. En este artículo, analizamos el impacto de la actualización de bajo rango, tal como se implementa en LoRA. Nuestros hallazgos sugieren que el mecanismo de actualización de bajo rango puede limitar la capacidad de los LLM para aprender y memorizar nuevos conocimientos de manera efectiva. Inspirados por esta observación, proponemos un nuevo método llamado MoRA, que emplea una matriz cuadrada para lograr actualizaciones de alto rango mientras mantiene el mismo número de parámetros entrenables. Para lograrlo, introducimos operadores no paramétricos correspondientes para reducir la dimensión de entrada y aumentar la dimensión de salida de la matriz cuadrada. Además, estos operadores aseguran que los pesos puedan fusionarse nuevamente en los LLM, lo que permite que nuestro método se implemente como LoRA. Realizamos una evaluación exhaustiva de nuestro método en cinco tareas: ajuste por instrucciones, razonamiento matemático, preentrenamiento continuo, memoria y preentrenamiento. Nuestro método supera a LoRA en tareas intensivas en memoria y logra un rendimiento comparable en otras tareas.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.