KaSA : Adaptation de la valeur singulière consciente des connaissances des grands modèles de langage

KaSA: Knowledge-Aware Singular-Value Adaptation of Large Language Models

December 8, 2024

Auteurs: Fan Wang, Juyong Jiang, Chansung Park, Sunghun Kim, Jing Tang

cs.AI

Résumé

Les tailles croissantes des grands modèles de langage (GML) entraînent une surcharge computationnelle et une utilisation importante de la mémoire lors de l'adaptation de ces modèles à des tâches ou domaines spécifiques. Diverses méthodes d'ajustement fin de paramètres efficaces (PEFT) ont été conçues pour atténuer ces défis en formant un petit ensemble de paramètres pour les mises à jour spécifiques à la tâche des poids du modèle. Parmi les méthodes PEFT, LoRA se distingue par sa simplicité et son efficacité, inspirant le développement d'une série de variantes. Cependant, LoRA et ses successeurs ignorent les connaissances qui sont bruyantes ou non pertinentes pour la tâche ciblée, impactant négativement les performances du modèle et conduisant à une sous-optimalité. Pour remédier à cette limitation, nous introduisons l'Adaptation de Valeur Singulière Consciente des Connaissances (KaSA), une méthode PEFT qui exploite la décomposition en valeurs singulières (SVD) avec des valeurs singulières conscientes des connaissances pour activer dynamiquement les connaissances en fonction de leur pertinence pour la tâche en cours. Nous menons des expériences approfondies sur une gamme de GML pour des tâches couvrant la compréhension du langage naturel (NLU), la génération (NLG), le suivi d'instructions et le raisonnement de bon sens. Les résultats expérimentaux démontrent que KaSA surpasse de manière constante FFT et 14 baselines PEFT populaires sur 16 benchmarks et 4 ensembles de données synthétiques, soulignant l'efficacité et l'adaptabilité de notre méthode. Le code source de notre méthode est disponible sur https://github.com/juyongjiang/KaSA.

English

The increasing sizes of large language models (LLMs) result in significant computational overhead and memory usage when adapting these models to specific tasks or domains. Various parameter-efficient fine-tuning (PEFT) methods have been devised to mitigate these challenges by training a small set of parameters for the task-specific updates of the model weights. Among PEFT methods, LoRA stands out for its simplicity and efficiency, inspiring the development of a series of variants. However, LoRA and its successors disregard the knowledge that is noisy or irrelevant to the targeted task, detrimentally impacting model performance and leading to suboptimality. To address this limitation, we introduce Knowledge-aware Singular-value Adaptation (KaSA), a PEFT method that leverages singular value decomposition (SVD) with knowledge-aware singular values to dynamically activate knowledge based on its relevance to the task at hand. We conduct extensive experiments across a range of LLMs on tasks spanning natural language understanding (NLU), generation (NLG), instruction following, and commonsense reasoning. The experimental results demonstrate that KaSA consistently outperforms FFT and 14 popular PEFT baselines across 16 benchmarks and 4 synthetic datasets, underscoring our method's efficacy and adaptability. The source code of our method is available at https://github.com/juyongjiang/KaSA.