Tied-LoRA: Miglioramento dell'efficienza dei parametri di LoRA mediante il vincolo dei pesi

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

Autori: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

Abstract

Proponiamo Tied-LoRA, un paradigma semplice che utilizza il legame dei pesi e l'addestramento selettivo per aumentare ulteriormente l'efficienza dei parametri del metodo di adattamento a basso rango (LoRA). Le nostre indagini includono tutte le combinazioni fattibili di addestramento/congelamento dei parametri in congiunzione con il legame dei pesi per identificare il miglior equilibrio tra prestazioni e numero di parametri addestrabili. Attraverso esperimenti che coprono una varietà di task e due modelli linguistici di base, forniamo un'analisi che rivela i compromessi tra efficienza e prestazioni. I nostri esperimenti hanno rivelato una configurazione specifica di Tied-LoRA che si distingue per aver dimostrato prestazioni comparabili in diversi task utilizzando solo il 13~\% dei parametri impiegati dal metodo LoRA standard.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.