VeRA : Adaptation de Matrice Aléatoire basée sur des Vecteurs

VeRA: Vector-based Random Matrix Adaptation

October 17, 2023

Auteurs: Dawid Jan Kopiczko, Tijmen Blankevoort, Yuki Markus Asano

cs.AI

Résumé

L'adaptation à faible rang (LoRA) est une méthode populaire qui réduit le nombre de paramètres entraînables lors du réglage fin de grands modèles de langage, mais elle reste confrontée à des défis de stockage importants lors de la mise à l'échelle vers des modèles encore plus grands ou lors du déploiement de nombreux modèles adaptés par utilisateur ou par tâche. Dans ce travail, nous présentons l'Adaptation de Matrice Aléatoire basée sur des Vecteurs (VeRA), qui réduit le nombre de paramètres entraînables par un facteur 10 par rapport à LoRA, tout en maintenant les mêmes performances. Cela est réalisé en utilisant une seule paire de matrices à faible rang partagées entre toutes les couches et en apprenant de petits vecteurs de mise à l'échelle à la place. Nous démontrons son efficacité sur les benchmarks GLUE et E2E, et montrons son application dans le suivi d'instructions avec seulement 1,4 million de paramètres en utilisant le modèle Llama2 7B.

English

Low-rank adapation (LoRA) is a popular method that reduces the number of trainable parameters when finetuning large language models, but still faces acute storage challenges when scaling to even larger models or deploying numerous per-user or per-task adapted models. In this work, we present Vector-based Random Matrix Adaptation (VeRA), which reduces the number of trainable parameters by 10x compared to LoRA, yet maintains the same performance. It achieves this by using a single pair of low-rank matrices shared across all layers and learning small scaling vectors instead. We demonstrate its effectiveness on the GLUE and E2E benchmarks, and show its application in instruction-following with just 1.4M parameters using the Llama2 7B model.