Tied-LoRA: Verbesserung der Parameter-Effizienz von LoRA durch Gewichtsverknüpfung

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

Autoren: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

Zusammenfassung

Wir schlagen Tied-LoRA vor, ein einfaches Paradigma, das Gewichtsbindung und selektives Training nutzt, um die Parameter-Effizienz der Low-Rank-Adaptation (LoRA)-Methode weiter zu steigern. Unsere Untersuchungen umfassen alle möglichen Kombinationen von Parameter-Training/-Einfrieren in Verbindung mit Gewichtsbindung, um das optimale Gleichgewicht zwischen Leistung und der Anzahl der trainierbaren Parameter zu identifizieren. Durch Experimente, die eine Vielzahl von Aufgaben und zwei Basissprachmodelle abdecken, liefern wir Analysen, die Kompromisse zwischen Effizienz und Leistung aufzeigen. Unsere Experimente haben eine bestimmte Tied-LoRA-Konfiguration aufgedeckt, die sich dadurch auszeichnet, dass sie vergleichbare Leistungen über mehrere Aufgaben hinweg zeigt, während sie nur 13~\% der Parameter verwendet, die von der Standard-LoRA-Methode eingesetzt werden.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.