Tied-LoRA: Aprimorando a eficiência de parâmetros do LoRA com vinculação de pesos

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

Autores: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

Resumo

Propomos o Tied-LoRA, um paradigma simples que utiliza a vinculação de pesos e o treinamento seletivo para aumentar ainda mais a eficiência de parâmetros do método de adaptação de baixo posto (LoRA). Nossas investigações incluem todas as combinações viáveis de treinamento/congelamento de parâmetros em conjunto com a vinculação de pesos para identificar o equilíbrio ideal entre desempenho e o número de parâmetros treináveis. Por meio de experimentos que abrangem uma variedade de tarefas e dois modelos de linguagem base, fornecemos uma análise que revela as compensações entre eficiência e desempenho. Nossos experimentos revelaram uma configuração específica do Tied-LoRA que se destaca ao demonstrar desempenho comparável em várias tarefas, empregando apenas 13\% dos parâmetros utilizados pelo método LoRA padrão.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.