Tied-LoRA: Mejorando la eficiencia de parámetros de LoRA mediante la vinculación de pesos

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

Autores: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

Resumen

Proponemos Tied-LoRA, un paradigma simple que utiliza la vinculación de pesos y el entrenamiento selectivo para aumentar aún más la eficiencia de parámetros del método de adaptación de bajo rango (LoRA). Nuestras investigaciones incluyen todas las combinaciones factibles de entrenamiento/congelación de parámetros junto con la vinculación de pesos para identificar el equilibrio óptimo entre el rendimiento y el número de parámetros entrenables. A través de experimentos que abarcan una variedad de tareas y dos modelos de lenguaje base, proporcionamos un análisis que revela las compensaciones entre eficiencia y rendimiento. Nuestros experimentos descubrieron una configuración particular de Tied-LoRA que destaca al demostrar un rendimiento comparable en varias tareas mientras emplea solo el 13~\% de los parámetros utilizados por el método LoRA estándar.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.