MoRA: Atualização de Alta Classificação para Ajuste Fino Eficiente em Parâmetros

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

Autores: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Resumo

A adaptação de baixo posto é um método popular de ajuste fino eficiente em parâmetros para modelos de linguagem de grande escala. Neste artigo, analisamos o impacto da atualização de baixo posto, conforme implementada no LoRA. Nossas descobertas sugerem que o mecanismo de atualização de baixo posto pode limitar a capacidade dos LLMs de aprender e memorizar efetivamente novos conhecimentos. Inspirados por essa observação, propomos um novo método chamado MoRA, que emprega uma matriz quadrada para alcançar atualização de alto posto mantendo o mesmo número de parâmetros treináveis. Para isso, introduzimos os operadores não paramétricos correspondentes para reduzir a dimensão de entrada e aumentar a dimensão de saída para a matriz quadrada. Além disso, esses operadores garantem que o peso possa ser reintegrado aos LLMs, o que permite que nosso método seja implantado como o LoRA. Realizamos uma avaliação abrangente do nosso método em cinco tarefas: ajuste de instrução, raciocínio matemático, pré-treinamento contínuo, memória e pré-treinamento. Nosso método supera o LoRA em tarefas intensivas em memória e alcança desempenho comparável em outras tarefas.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.