Tied-LoRA: Verbetering van parameter-efficiëntie van LoRA door middel van gewichtsverbinding

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

Auteurs: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

Samenvatting

Wij stellen Tied-LoRA voor, een eenvoudig paradigma dat gebruikmaakt van gewichtsverbinding en selectieve training om de parameter-efficiëntie van de Low-rank adaptation (LoRA)-methode verder te verhogen. Ons onderzoek omvat alle mogelijke combinaties van parameter-training/-bevriezing in combinatie met gewichtsverbinding om de optimale balans tussen prestaties en het aantal trainbare parameters te identificeren. Door experimenten die een verscheidenheid aan taken en twee basistaalmodellen omvatten, bieden wij een analyse die de afwegingen tussen efficiëntie en prestaties onthult. Onze experimenten hebben een specifieke Tied-LoRA-configuratie aan het licht gebracht die opvalt door vergelijkbare prestaties te demonstreren over verschillende taken, terwijl slechts 13~\% van de parameters wordt gebruikt die door de standaard LoRA-methode worden benut.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.