VeLoRA: Speichereffizientes Training unter Verwendung von Rang-1 Untertoken-Projektionen

VeLoRA: Memory Efficient Training using Rank-1 Sub-Token Projections

May 28, 2024

papers.authors: Roy Miles, Pradyumna Reddy, Ismail Elezi, Jiankang Deng

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) sind in letzter Zeit als leistungsstarke Werkzeuge zur Bewältigung vieler sprachverarbeitender Aufgaben aufgetaucht. Trotz ihres Erfolgs ist das Training und Feintuning dieser Modelle immer noch viel zu rechen- und speicherintensiv. In diesem Artikel identifizieren und charakterisieren wir die wichtigen Komponenten, die für eine effektive Modellkonvergenz mittels Gradientenabstieg erforderlich sind. Dabei stellen wir fest, dass die Zwischenaktivierungen, die zur Implementierung der Rückpropagierung verwendet werden, ohne Leistungseinbußen übermäßig komprimiert werden können. Dieses Ergebnis führt uns zu einem kostengünstigen und speichereffizienten Algorithmus sowohl für das Feintuning als auch für das Vortraining von LLMs. Der vorgeschlagene Algorithmus unterteilt einfach die Tokens in kleinere Untertokens, bevor sie während des Vorwärtspasses auf einen festen eindimensionalen Unterraum projiziert werden. Diese Merkmale werden dann grob während des Rückwärtspasses rekonstruiert, um die Aktualisierungsregeln zu implementieren. Wir bestätigen die Wirksamkeit unseres Algorithmus als ergänzend zu vielen modernen PEFT-Methoden auf dem VTAB-1k Feintuning-Benchmark. Darüber hinaus übertreffen wir QLoRA beim Feintuning von LLaMA und zeigen eine wettbewerbsfähige Leistung gegenüber anderen speichereffizienten Vortrainierungsmethoden auf dem groß angelegten C4-Datensatz.

English

Large language models (LLMs) have recently emerged as powerful tools for tackling many language-processing tasks. Despite their success, training and fine-tuning these models is still far too computationally and memory intensive. In this paper, we identify and characterise the important components needed for effective model convergence using gradient descent. In doing so we find that the intermediate activations used to implement backpropagation can be excessively compressed without incurring any degradation in performance. This result leads us to a cheap and memory-efficient algorithm for both fine-tuning and pre-training LLMs. The proposed algorithm simply divides the tokens up into smaller sub-tokens before projecting them onto a fixed 1-dimensional subspace during the forward pass. These features are then coarsely reconstructed during the backward pass to implement the update rules. We confirm the effectiveness of our algorithm as being complimentary to many state-of-the-art PEFT methods on the VTAB-1k fine-tuning benchmark. Furthermore, we outperform QLoRA for fine-tuning LLaMA and show competitive performance against other memory-efficient pre-training methods on the large-scale C4 dataset.