Tied-LoRA : Amélioration de l'efficacité paramétrique de LoRA par le liage des poids

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

Auteurs: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

Résumé

Nous proposons Tied-LoRA, un paradigme simple qui exploite le partage de poids et l’entraînement sélectif pour accroître davantage l’efficacité paramétrique de la méthode d’adaptation de bas rang (LoRA). Nos investigations incluent toutes les combinaisons possibles d’entraînement/gel des paramètres en conjonction avec le partage de poids afin d’identifier l’équilibre optimal entre performance et nombre de paramètres entraînables. À travers des expériences couvrant une variété de tâches et deux modèles de langage de base, nous fournissons une analyse révélant les compromis entre efficacité et performance. Nos expériences ont mis en évidence une configuration particulière de Tied-LoRA qui se distingue en démontrant des performances comparables sur plusieurs tâches tout en n’utilisant que 13 % des paramètres employés par la méthode LoRA standard.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.