CURLoRA: Stabiles LLM Kontinuierliches Feinabstimmungs- und Katastrophenvergessensminderung

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

Autoren: Muhammad Fawi

cs.AI

Zusammenfassung

Dieses Paper stellt CURLoRA vor, einen neuartigen Ansatz zur Feinabstimmung großer Sprachmodelle (LLMs), der die CUR-Matrixzerlegung im Kontext der Low-Rank-Anpassung (LoRA) nutzt. Unsere Methode begegnet zwei entscheidenden Herausforderungen bei der Feinabstimmung von LLMs: der Minderung des katastrophalen Vergessens während des kontinuierlichen Lernens und der Reduzierung der Anzahl der trainierbaren Parameter. Wir schlagen eine einzigartige Modifikation des CUR-Zerlegungsprozesses vor, indem wir invertierte Wahrscheinlichkeiten für die Auswahl von Spalten und Zeilen verwenden, was als implizite Regularisierung fungiert, und die U-Matrix als Nullmatrix initialisieren und nur feinabstimmen. Durch Experimente auf mehreren Datensätzen zeigen wir, dass CURLoRA im Vergleich zu Standard-LoRA das katastrophale Vergessen besser mildert. Es gewährleistet die Stabilität und Leistung des Modells über verschiedene Aufgaben hinweg, während die Anzahl der trainierbaren Parameter signifikant reduziert wird. Unsere Ergebnisse zeigen, dass CURLoRA eine sehr gute und stabile Aufgabengenauigkeit erreicht, während die Perplexitätswerte des Basismodells im Vergleich zu LoRA bei kontinuierlicher Feinabstimmung beibehalten werden, insbesondere in Szenarien mit begrenzten Daten.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.