CURLoRA: 안정적인 LLM 지속적 세밀 조정 및 재앙적인 망각 완화

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

저자: Muhammad Fawi

cs.AI

초록

본 논문에서는 대규모 언어 모델(Large Language Models, LLMs)의 세밀 조정에 CUR 행렬 분해를 활용하는 Low-Rank Adaptation (LoRA) 맥락에서 새로운 방법인 CURLoRA를 소개합니다. 저희 방법은 LLM 세밀 조정 중 발생하는 잊혀짐 증상을 완화하고 조정 가능한 매개변수의 수를 줄이는 두 가지 중요한 과제에 대응합니다. 우리는 CUR 분해 과정에 독특한 수정을 제안하는데, 역확률을 사용하여 열과 행 선택에 암묵적 규제를 적용하고, U 행렬을 영 행렬로 초기화한 뒤 세밀 조정만을 수행합니다. 우리는 다양한 데이터셋에서의 실험을 통해 CURLoRA가 잊혀짐 증상을 완화하는 데 있어 표준 LoRA보다 우수한 성과를 보임을 입증합니다. 이는 모델의 안정성과 성능을 유지하면서 조정 가능한 매개변수의 수를 크게 줄이는 특징을 가지고 있습니다. 우리의 결과는 CURLoRA가 기존 모델의 놀라움 점수를 일정하게 유지하면서 지속적인 세밀 조정 시 LoRA에 비해 특히 데이터가 제한된 상황에서 매우 좋고 안정적인 작업 정확도를 달성한다는 것을 보여줍니다.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.