CURLoRA : Ajustement fin continu LLM stable et atténuation de l'oubli catastrophique

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

Auteurs: Muhammad Fawi

cs.AI

Résumé

Cet article présente CURLoRA, une nouvelle approche pour affiner les grands modèles de langage (LLM) qui exploite la décomposition de matrice CUR dans le contexte de l'Adaptation à Rang Faible (LoRA). Notre méthode aborde deux défis critiques dans l'affinage des LLM : atténuer l'oubli catastrophique lors de l'apprentissage continu et réduire le nombre de paramètres entraînables. Nous proposons une modification unique du processus de décomposition CUR, en utilisant des probabilités inversées pour la sélection des colonnes et des lignes qui agissent comme une régularisation implicite, et en initialisant la matrice U comme une matrice nulle, puis en ne la raffinant que. Nous démontrons à travers des expériences sur plusieurs ensembles de données que CURLoRA surpasse LoRA standard dans l'atténuation de l'oubli catastrophique. Il maintient la stabilité du modèle et ses performances sur différentes tâches tout en réduisant significativement le nombre de paramètres entraînables. Nos résultats montrent que CURLoRA atteint une très bonne précision et stabilité des tâches tout en maintenant les scores de perplexité du modèle de base fixes par rapport à LoRA lors de l'affinage continu, en particulier dans des scénarios avec des données limitées.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.