CURLoRA: Ajuste Fino Contínuo e Mitigação do Esquecimento Catastrófico em LLM Estável

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

Autores: Muhammad Fawi

cs.AI

Resumo

Este artigo apresenta o CURLoRA, uma abordagem inovadora para ajuste fino de grandes modelos de linguagem (LLMs) que aproveita a decomposição da matriz CUR no contexto da Adaptação de Baixa Ordem (LoRA). Nosso método aborda dois desafios críticos no ajuste fino de LLMs: mitigar o esquecimento catastrófico durante a aprendizagem contínua e reduzir o número de parâmetros treináveis. Propomos uma modificação única no processo de decomposição CUR, utilizando probabilidades invertidas para seleção de colunas e linhas, o que atua como uma regularização implícita, e inicializando a matriz U como uma matriz zero, e apenas ajustando-a finamente. Demonstramos por meio de experimentos em vários conjuntos de dados que o CURLoRA supera o LoRA padrão na mitigação do esquecimento catastrófico. Ele mantém a estabilidade e o desempenho do modelo em várias tarefas, ao mesmo tempo em que reduz significativamente o número de parâmetros treináveis. Nossos resultados mostram que o CURLoRA alcança uma precisão de tarefa muito boa e estável, mantendo os escores de perplexidade do modelo base fixos em comparação com o LoRA durante o ajuste fino contínuo, especialmente em cenários com dados limitados.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.