VeRA: Adaptación de Matriz Aleatoria Basada en Vectores

VeRA: Vector-based Random Matrix Adaptation

October 17, 2023

Autores: Dawid Jan Kopiczko, Tijmen Blankevoort, Yuki Markus Asano

cs.AI

Resumen

La adaptación de bajo rango (LoRA) es un método popular que reduce el número de parámetros entrenables al ajustar modelos de lenguaje grandes, pero aún enfrenta desafíos significativos de almacenamiento al escalar a modelos aún más grandes o al implementar numerosos modelos adaptados por usuario o por tarea. En este trabajo, presentamos la Adaptación de Matriz Aleatoria Basada en Vectores (VeRA), que reduce el número de parámetros entrenables en 10 veces en comparación con LoRA, manteniendo el mismo rendimiento. Esto se logra utilizando un único par de matrices de bajo rango compartidas en todas las capas y aprendiendo pequeños vectores de escalado en su lugar. Demostramos su efectividad en los puntos de referencia GLUE y E2E, y mostramos su aplicación en el seguimiento de instrucciones con solo 1.4 millones de parámetros utilizando el modelo Llama2 de 7B.

English

Low-rank adapation (LoRA) is a popular method that reduces the number of trainable parameters when finetuning large language models, but still faces acute storage challenges when scaling to even larger models or deploying numerous per-user or per-task adapted models. In this work, we present Vector-based Random Matrix Adaptation (VeRA), which reduces the number of trainable parameters by 10x compared to LoRA, yet maintains the same performance. It achieves this by using a single pair of low-rank matrices shared across all layers and learning small scaling vectors instead. We demonstrate its effectiveness on the GLUE and E2E benchmarks, and show its application in instruction-following with just 1.4M parameters using the Llama2 7B model.