KaSA: Adaptación de Valor Singular Consciente del Conocimiento de Modelos de Lenguaje Grandes

KaSA: Knowledge-Aware Singular-Value Adaptation of Large Language Models

December 8, 2024

Autores: Fan Wang, Juyong Jiang, Chansung Park, Sunghun Kim, Jing Tang

cs.AI

Resumen

El aumento en el tamaño de los modelos de lenguaje grandes (LLMs) conlleva una sobrecarga computacional significativa y un uso elevado de memoria al adaptar estos modelos a tareas o dominios específicos. Se han ideado varios métodos de ajuste fino eficientes en parámetros (PEFT) para mitigar estos desafíos mediante el entrenamiento de un pequeño conjunto de parámetros para las actualizaciones específicas de la tarea de los pesos del modelo. Entre los métodos PEFT, LoRA destaca por su simplicidad y eficiencia, inspirando el desarrollo de una serie de variantes. Sin embargo, LoRA y sus sucesores ignoran el conocimiento que es ruidoso o irrelevante para la tarea objetivo, lo que impacta negativamente en el rendimiento del modelo y conduce a la suboptimalidad. Para abordar esta limitación, presentamos Adaptación de Valor Singular Consciente del Conocimiento (KaSA), un método PEFT que aprovecha la descomposición en valores singulares (SVD) con valores singulares conscientes del conocimiento para activar dinámicamente el conocimiento en función de su relevancia para la tarea en cuestión. Realizamos experimentos extensos en una variedad de LLMs en tareas que abarcan comprensión del lenguaje natural (NLU), generación de texto (NLG), seguimiento de instrucciones y razonamiento del sentido común. Los resultados experimentales demuestran que KaSA supera consistentemente a FFT y 14 baselines populares de PEFT en 16 pruebas y 4 conjuntos de datos sintéticos, destacando la eficacia y adaptabilidad de nuestro método. El código fuente de nuestro método está disponible en https://github.com/juyongjiang/KaSA.

English

The increasing sizes of large language models (LLMs) result in significant computational overhead and memory usage when adapting these models to specific tasks or domains. Various parameter-efficient fine-tuning (PEFT) methods have been devised to mitigate these challenges by training a small set of parameters for the task-specific updates of the model weights. Among PEFT methods, LoRA stands out for its simplicity and efficiency, inspiring the development of a series of variants. However, LoRA and its successors disregard the knowledge that is noisy or irrelevant to the targeted task, detrimentally impacting model performance and leading to suboptimality. To address this limitation, we introduce Knowledge-aware Singular-value Adaptation (KaSA), a PEFT method that leverages singular value decomposition (SVD) with knowledge-aware singular values to dynamically activate knowledge based on its relevance to the task at hand. We conduct extensive experiments across a range of LLMs on tasks spanning natural language understanding (NLU), generation (NLG), instruction following, and commonsense reasoning. The experimental results demonstrate that KaSA consistently outperforms FFT and 14 popular PEFT baselines across 16 benchmarks and 4 synthetic datasets, underscoring our method's efficacy and adaptability. The source code of our method is available at https://github.com/juyongjiang/KaSA.