CURLoRA: Stabile LLM per il Continuo Affinamento e la Mitigazione del Dimenticamento Catastrofico

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

Autori: Muhammad Fawi

cs.AI

Abstract

Questo articolo introduce CURLoRA, un nuovo approccio per il raffinamento dei modelli di linguaggio di grandi dimensioni (LLM) che sfrutta la decomposizione della matrice CUR nel contesto dell'Adattamento a Rango Ridotto (LoRA). Il nostro metodo affronta due sfide critiche nel raffinamento dei LLM: mitigare l'oblio catastrofico durante l'apprendimento continuo e ridurre il numero di parametri addestrabili. Proponiamo una modifica unica al processo di decomposizione CUR, utilizzando probabilità invertite per la selezione delle colonne e delle righe che agiscono come regolarizzazione implicita, e inizializzando la matrice U come una matrice zero, per poi raffinarla. Dimostriamo attraverso esperimenti su più set di dati che CURLoRA supera LoRA standard nel mitigare l'oblio catastrofico. Mantiene la stabilità del modello e le prestazioni tra compiti riducendo significativamente il numero di parametri addestrabili. I nostri risultati mostrano che CURLoRA raggiunge un'accuratezza del compito molto buona e stabile mantenendo fissi i punteggi di perplessità del modello di base rispetto a LoRA durante il raffinamento continuo, in particolare in scenari con dati limitati.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.