CURLoRA: 安定したLLMの継続的なファインチューニングと カタストロフィックな忘却の緩和

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

著者: Muhammad Fawi

cs.AI

要旨

本論文では、大規模言語モデル（LLMs）の微調整において、CUR行列分解を活用する新しい手法であるCURLoRAを紹介します。Low-Rank Adaptation（LoRA）の文脈で、当手法はLLM微調整における2つの重要な課題、つまり継続的学習中の壊滅的忘却の緩和と訓練可能パラメータ数の削減に取り組んでいます。我々は、CUR分解プロセスに独自の変更を提案し、列と行の選択に逆確率を利用して暗黙の正則化として機能させ、U行列をゼロ行列として初期化し、微調整のみを行います。複数のデータセットでの実験を通じて、CURLoRAが壊滅的忘却の緩和において標準のLoRAを上回ることを示します。CURLoRAは、訓練可能パラメータ数を大幅に削減しながら、タスク間でモデルの安定性と性能を維持します。我々の結果は、CURLoRAが、特にデータが限られているシナリオにおいて、LoRAに比べて継続的微調整においてベースモデルの困惑度スコアを一定に保ちつつ、非常に良好で安定したタスク精度を達成していることを示しています。

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.