Orthogonales Feintuning skalierbar gemacht

Orthogonal Finetuning Made Scalable

June 24, 2025

papers.authors: Zeju Qiu, Weiyang Liu, Adrian Weller, Bernhard Schölkopf

cs.AI

papers.abstract

Orthogonales Finetuning (OFT) bietet eine hochgradig parameter-effiziente Anpassung, während es katastrophales Vergessen verhindert, doch sein hoher Laufzeit- und Speicherbedarf schränkt den praktischen Einsatz ein. Wir identifizieren den zentralen Rechenengpass in OFT als seine gewichts-zentrierte Implementierung, die auf kostspieligen Matrix-Matrix-Multiplikationen mit kubischer Komplexität beruht. Um dies zu überwinden, schlagen wir OFTv2 vor, eine input-zentrierte Neuformulierung, die stattdessen Matrix-Vektor-Multiplikationen (d.h. matrixfreie Berechnung) verwendet und so die Rechenkosten auf quadratische Komplexität reduziert. Weiterhin führen wir die Cayley-Neumann-Parametrisierung ein, eine effiziente orthogonale Parametrisierung, die die Matrixinversion in der Cayley-Transformation durch eine abgeschnittene Neumann-Reihe approximiert. Diese Modifikationen ermöglichen es OFTv2, bis zu 10x schnellere Trainingszeiten und 3x geringeren GPU-Speicherverbrauch zu erreichen, ohne die Leistung zu beeinträchtigen. Zusätzlich erweitern wir OFTv2, um das Finetuning quantisierter Basismodelle zu unterstützen, und zeigen, dass es das beliebte QLoRA in Bezug auf Trainingsstabilität, Effizienz und Speicherverbrauch übertrifft.

English

Orthogonal finetuning (OFT) offers highly parameter-efficient adaptation while preventing catastrophic forgetting, but its high runtime and memory demands limit practical deployment. We identify the core computational bottleneck in OFT as its weight-centric implementation, which relies on costly matrix-matrix multiplications with cubic complexity. To overcome this, we propose OFTv2, an input-centric reformulation that instead uses matrix-vector multiplications (i.e., matrix-free computation), reducing the computational cost to quadratic. We further introduce the Cayley-Neumann parameterization, an efficient orthogonal parameterization that approximates the matrix inversion in Cayley transform via a truncated Neumann series. These modifications allow OFTv2 to achieve up to 10x faster training and 3x lower GPU memory usage without compromising performance. In addition, we extend OFTv2 to support finetuning quantized foundation models and show that it outperforms the popular QLoRA in training stability, efficiency, and memory usage.