LoLDU: Niedrig-Rang-Anpassung durch Untere-Diag-Obere Zerlegung für parameter-effizientes Feinabstimmung

LoLDU: Low-Rank Adaptation via Lower-Diag-Upper Decomposition for Parameter-Efficient Fine-Tuning

October 17, 2024

Autoren: Yiming Shi, Jiwei Wei, Yujia Wu, Ran Ran, Chengwei Sun, Shiyuan He, Yang Yang

cs.AI

Zusammenfassung

Das rasante Wachstum des Modellumfangs hat einen erheblichen Bedarf an Rechenressourcen für Feinabstimmungen erforderlich gemacht. Bestehende Ansätze wie die Low-Rank-Anpassung (LoRA) haben versucht, das Problem des Umgangs mit den vielen aktualisierten Parametern bei vollständiger Feinabstimmung zu lösen. Allerdings verwendet LoRA eine zufällige Initialisierung und Optimierung von niederrangigen Matrizen, um die aktualisierten Gewichte anzunähern, was zu einer suboptimalen Konvergenz und einer Genauigkeitslücke im Vergleich zur vollständigen Feinabstimmung führen kann. Um diese Probleme zu lösen, schlagen wir LoLDU vor, einen parameter-effizienten Feinabstimmungsansatz (PEFT), der die trainierbaren Parameter im Vergleich zu herkömmlichen PEFT-Methoden um das 2600-fache reduziert, während die Leistung vergleichbar bleibt. LoLDU nutzt die Lower-Diag-Upper-Zerlegung (LDU), um niederrangige Matrizen für eine schnellere Konvergenz und Orthogonalität zu initialisieren. Wir konzentrieren uns auf die Optimierung der Diagonalmatrix für Skalierungstransformationen. Unseres Wissens nach hat LoLDU die geringste Anzahl an Parametern unter allen PEFT-Ansätzen. Wir führten umfangreiche Experimente durch, die 4 Datensätze zur Anweisungsbeachtung, 6 Datensätze zur natürlichen Sprachverarbeitung (NLU), 8 Datensätze zur Bildklassifizierung und Bildgenerierung mit mehreren Modelltypen (LLaMA2, RoBERTa, ViT und Stable Diffusion) umfassen, und bieten eine umfassende und detaillierte Analyse. Unser Open-Source-Code ist unter folgendem Link verfügbar: https://github.com/SKDDJ/LoLDU.

English

The rapid growth of model scale has necessitated substantial computational resources for fine-tuning. Existing approach such as Low-Rank Adaptation (LoRA) has sought to address the problem of handling the large updated parameters in full fine-tuning. However, LoRA utilize random initialization and optimization of low-rank matrices to approximate updated weights, which can result in suboptimal convergence and an accuracy gap compared to full fine-tuning. To address these issues, we propose LoLDU, a Parameter-Efficient Fine-Tuning (PEFT) approach that significantly reduces trainable parameters by 2600 times compared to regular PEFT methods while maintaining comparable performance. LoLDU leverages Lower-Diag-Upper Decomposition (LDU) to initialize low-rank matrices for faster convergence and orthogonality. We focus on optimizing the diagonal matrix for scaling transformations. To the best of our knowledge, LoLDU has the fewest parameters among all PEFT approaches. We conducted extensive experiments across 4 instruction-following datasets, 6 natural language understanding (NLU) datasets, 8 image classification datasets, and image generation datasets with multiple model types (LLaMA2, RoBERTa, ViT, and Stable Diffusion), providing a comprehensive and detailed analysis. Our open-source code can be accessed at https://github.com/SKDDJ/LoLDU{https://github.com/SKDDJ/LoLDU}.