KaSA: Wissensbewusste Singularwertanpassung großer Sprachmodelle

KaSA: Knowledge-Aware Singular-Value Adaptation of Large Language Models

December 8, 2024

Autoren: Fan Wang, Juyong Jiang, Chansung Park, Sunghun Kim, Jing Tang

cs.AI

Zusammenfassung

Die zunehmenden Größen großer Sprachmodelle (LLMs) führen zu erheblichem Rechenaufwand und Speicherbedarf, wenn diese Modelle an spezifische Aufgaben oder Bereiche angepasst werden. Verschiedene parameter-effiziente Feinabstimmungsmethoden (PEFT) wurden entwickelt, um diese Herausforderungen zu mildern, indem ein kleiner Satz von Parametern für die aufgabenspezifischen Aktualisierungen der Modellgewichte trainiert wird. Unter den PEFT-Methoden sticht LoRA durch seine Einfachheit und Effizienz hervor, was die Entwicklung einer Reihe von Varianten inspiriert hat. Allerdings ignorieren LoRA und seine Nachfolger das Wissen, das rauschig oder irrelevant für die angestrebte Aufgabe ist, was sich nachteilig auf die Modellleistung auswirkt und zu Suboptimalität führt. Um diese Einschränkung zu überwinden, stellen wir Knowledge-aware Singular-value Adaptation (KaSA) vor, eine PEFT-Methode, die die Singulärwertzerlegung (SVD) mit wissensbewussten Singulärwerten nutzt, um Wissen basierend auf seiner Relevanz für die jeweilige Aufgabe dynamisch zu aktivieren. Wir führen umfangreiche Experimente über eine Reihe von LLMs auf Aufgaben im Bereich des natürlichen Sprachverstehens (NLU), der Generierung (NLG), der Anweisungsbefolgung und des gesunden Menschenverstands durch. Die experimentellen Ergebnisse zeigen, dass KaSA kontinuierlich FFT und 14 beliebte PEFT-Baselines auf 16 Benchmarks und 4 synthetischen Datensätzen übertrifft und damit die Wirksamkeit und Anpassungsfähigkeit unserer Methode unterstreicht. Der Quellcode unserer Methode ist verfügbar unter https://github.com/juyongjiang/KaSA.

English

The increasing sizes of large language models (LLMs) result in significant computational overhead and memory usage when adapting these models to specific tasks or domains. Various parameter-efficient fine-tuning (PEFT) methods have been devised to mitigate these challenges by training a small set of parameters for the task-specific updates of the model weights. Among PEFT methods, LoRA stands out for its simplicity and efficiency, inspiring the development of a series of variants. However, LoRA and its successors disregard the knowledge that is noisy or irrelevant to the targeted task, detrimentally impacting model performance and leading to suboptimality. To address this limitation, we introduce Knowledge-aware Singular-value Adaptation (KaSA), a PEFT method that leverages singular value decomposition (SVD) with knowledge-aware singular values to dynamically activate knowledge based on its relevance to the task at hand. We conduct extensive experiments across a range of LLMs on tasks spanning natural language understanding (NLU), generation (NLG), instruction following, and commonsense reasoning. The experimental results demonstrate that KaSA consistently outperforms FFT and 14 popular PEFT baselines across 16 benchmarks and 4 synthetic datasets, underscoring our method's efficacy and adaptability. The source code of our method is available at https://github.com/juyongjiang/KaSA.