CURLoRA: Устойчивая непрерывная донастройка LLM и смягчение забывания катастрофы

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

Авторы: Muhammad Fawi

cs.AI

Аннотация

В данной статье представлен метод CURLoRA, новый подход к настройке крупных языковых моделей (LLM), который использует декомпозицию матрицы CUR в контексте адаптации низкого ранга (LoRA). Наш метод решает две критические проблемы при настройке LLM: смягчение катастрофического забывания в процессе непрерывного обучения и уменьшение количества обучаемых параметров. Мы предлагаем уникальное изменение процесса декомпозиции CUR, используя инвертированные вероятности для выбора столбцов и строк, что действует как неявная регуляризация, и инициализируем матрицу U как нулевую матрицу, затем только настраиваем её. Мы демонстрируем через эксперименты на нескольких наборах данных, что CURLoRA превосходит стандартный LoRA в смягчении катастрофического забывания. Он поддерживает стабильность и производительность модели на различных задачах, существенно уменьшая количество обучаемых параметров. Наши результаты показывают, что CURLoRA достигает очень хорошей и стабильной точности задач, сохраняя неизменными показатели недоумения базовой модели по сравнению с LoRA при непрерывной настройке, особенно в сценариях с ограниченными данными.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.