CURLoRA: Stabiele Continue Fine-Tuning van LLM's en Mitigatie van Catastrofaal Vergeten

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

Auteurs: Muhammad Fawi

cs.AI

Samenvatting

Dit artikel introduceert CURLoRA, een nieuwe benadering voor het finetunen van grote taalmmodellen (LLM's) die CUR-matrixdecompositie benut in de context van Low-Rank Adaptation (LoRA). Onze methode richt zich op twee kritieke uitdagingen bij het finetunen van LLM's: het beperken van catastrofaal vergeten tijdens continu leren en het verminderen van het aantal trainbare parameters. We stellen een unieke aanpassing voor in het CUR-decompositieproces, waarbij omgekeerde waarschijnlijkheden worden gebruikt voor kolom- en rijselectie, wat fungeert als een impliciete regularisatie, en waarbij de U-matrix wordt geïnitialiseerd als een nulmatrix die uitsluitend wordt gefinetuned. We tonen via experimenten op meerdere datasets aan dat CURLoRA standaard LoRA overtreft in het beperken van catastrofaal vergeten. Het behoudt modelstabiliteit en prestaties over taken heen, terwijl het aantal trainbare parameters aanzienlijk wordt verminderd. Onze resultaten laten zien dat CURLoRA zeer goede en stabiele taaknauwkeurigheid bereikt, terwijl de perplexiteitsscores van het basismodel ongewijzigd blijven in vergelijking met LoRA bij continu finetunen, vooral in scenario's met beperkte data.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.