VeLoRA: Addestramento Efficiente in Memoria Utilizzando Proiezioni Rank-1 a Livello di Sotto-Token

VeLoRA: Memory Efficient Training using Rank-1 Sub-Token Projections

May 28, 2024

Autori: Roy Miles, Pradyumna Reddy, Ismail Elezi, Jiankang Deng

cs.AI

Abstract

I grandi modelli linguistici (LLM) sono recentemente emersi come strumenti potenti per affrontare molte attività di elaborazione del linguaggio. Nonostante il loro successo, l'addestramento e il fine-tuning di questi modelli rimangono ancora estremamente dispendiosi in termini di risorse computazionali e di memoria. In questo articolo, identifichiamo e caratterizziamo i componenti importanti necessari per una convergenza efficace del modello utilizzando la discesa del gradiente. Nel farlo, scopriamo che le attivazioni intermedie utilizzate per implementare la retropropagazione possono essere eccessivamente compresse senza causare alcun degrado delle prestazioni. Questo risultato ci porta a un algoritmo economico ed efficiente in termini di memoria sia per il fine-tuning che per il pre-training degli LLM. L'algoritmo proposto semplicemente divide i token in sottotoken più piccoli prima di proiettarli su un sottospazio unidimensionale fisso durante il passaggio in avanti. Queste caratteristiche vengono poi ricostruite in modo approssimativo durante il passaggio all'indietro per implementare le regole di aggiornamento. Confermiamo l'efficacia del nostro algoritmo come complemento a molti metodi PEFT all'avanguardia sul benchmark di fine-tuning VTAB-1k. Inoltre, superiamo QLoRA per il fine-tuning di LLaMA e mostriamo prestazioni competitive rispetto ad altri metodi di pre-training efficienti in termini di memoria sul dataset su larga scala C4.

English

Large language models (LLMs) have recently emerged as powerful tools for tackling many language-processing tasks. Despite their success, training and fine-tuning these models is still far too computationally and memory intensive. In this paper, we identify and characterise the important components needed for effective model convergence using gradient descent. In doing so we find that the intermediate activations used to implement backpropagation can be excessively compressed without incurring any degradation in performance. This result leads us to a cheap and memory-efficient algorithm for both fine-tuning and pre-training LLMs. The proposed algorithm simply divides the tokens up into smaller sub-tokens before projecting them onto a fixed 1-dimensional subspace during the forward pass. These features are then coarsely reconstructed during the backward pass to implement the update rules. We confirm the effectiveness of our algorithm as being complimentary to many state-of-the-art PEFT methods on the VTAB-1k fine-tuning benchmark. Furthermore, we outperform QLoRA for fine-tuning LLaMA and show competitive performance against other memory-efficient pre-training methods on the large-scale C4 dataset.