CURLoRA: Ajuste Fino Continuo y Mitigación del Olvido Catastrófico en LLM Estable

CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

August 26, 2024

Autores: Muhammad Fawi

cs.AI

Resumen

Este documento presenta CURLoRA, un enfoque novedoso para ajustar modelos de lenguaje grandes (LLMs) que aprovecha la descomposición de matrices CUR en el contexto de Adaptación de Bajo Rango (LoRA). Nuestro método aborda dos desafíos críticos en el ajuste fino de LLMs: mitigar el olvido catastrófico durante el aprendizaje continuo y reducir el número de parámetros entrenables. Proponemos una modificación única al proceso de descomposición CUR, utilizando probabilidades invertidas para la selección de columnas y filas que actúan como una regularización implícita, e inicializando la matriz U como una matriz cero, y solo ajustándola finamente. Demostramos a través de experimentos en múltiples conjuntos de datos que CURLoRA supera a LoRA estándar en la mitigación del olvido catastrófico. Mantiene la estabilidad y el rendimiento del modelo en diversas tareas, al tiempo que reduce significativamente el número de parámetros entrenables. Nuestros resultados muestran que CURLoRA logra una precisión de tarea muy buena y estable al mantener fijos los puntajes de perplejidad del modelo base en comparación con LoRA durante el ajuste fino continuo, especialmente en escenarios con datos limitados.

English

This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the U matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.