VeRA: Adattamento di Matrici Casuali Basato su Vettori

VeRA: Vector-based Random Matrix Adaptation

October 17, 2023

Autori: Dawid Jan Kopiczko, Tijmen Blankevoort, Yuki Markus Asano

cs.AI

Abstract

L'adattamento a basso rango (LoRA) è un metodo popolare che riduce il numero di parametri addestrabili durante il fine-tuning di grandi modelli linguistici, ma affronta ancora sfide significative di archiviazione quando si scala a modelli ancora più grandi o si distribuiscono numerosi modelli adattati per utente o per task. In questo lavoro, presentiamo l'Adattamento a Matrice Casuale basato su Vettori (VeRA), che riduce il numero di parametri addestrabili di 10 volte rispetto a LoRA, mantenendo però le stesse prestazioni. Questo risultato è ottenuto utilizzando una singola coppia di matrici a basso rango condivise tra tutti i livelli e apprendendo piccoli vettori di scalatura invece. Dimostriamo la sua efficacia sui benchmark GLUE ed E2E e mostriamo la sua applicazione nel seguire istruzioni con soli 1,4 milioni di parametri utilizzando il modello Llama2 7B.

English

Low-rank adapation (LoRA) is a popular method that reduces the number of trainable parameters when finetuning large language models, but still faces acute storage challenges when scaling to even larger models or deploying numerous per-user or per-task adapted models. In this work, we present Vector-based Random Matrix Adaptation (VeRA), which reduces the number of trainable parameters by 10x compared to LoRA, yet maintains the same performance. It achieves this by using a single pair of low-rank matrices shared across all layers and learning small scaling vectors instead. We demonstrate its effectiveness on the GLUE and E2E benchmarks, and show its application in instruction-following with just 1.4M parameters using the Llama2 7B model.