Ajuste Fino Ortogonal Tornado Escalável

Orthogonal Finetuning Made Scalable

June 24, 2025

Autores: Zeju Qiu, Weiyang Liu, Adrian Weller, Bernhard Schölkopf

cs.AI

Resumo

O ajuste fino ortogonal (OFT) oferece uma adaptação altamente eficiente em termos de parâmetros, evitando o esquecimento catastrófico, mas suas altas demandas de tempo de execução e memória limitam sua implantação prática. Identificamos o principal gargalo computacional no OFT como sua implementação centrada em pesos, que depende de multiplicações matriz-matriz de custo elevado com complexidade cúbica. Para superar isso, propomos o OFTv2, uma reformulação centrada em entradas que, em vez disso, utiliza multiplicações matriz-vetor (ou seja, computação livre de matrizes), reduzindo o custo computacional para quadrático. Além disso, introduzimos a parametrização de Cayley-Neumann, uma parametrização ortogonal eficiente que aproxima a inversão de matriz na transformada de Cayley por meio de uma série de Neumann truncada. Essas modificações permitem que o OFTv2 alcance um treinamento até 10x mais rápido e um uso de memória GPU 3x menor, sem comprometer o desempenho. Adicionalmente, estendemos o OFTv2 para suportar o ajuste fino de modelos de base quantizados e mostramos que ele supera o popular QLoRA em estabilidade de treinamento, eficiência e uso de memória.

English

Orthogonal finetuning (OFT) offers highly parameter-efficient adaptation while preventing catastrophic forgetting, but its high runtime and memory demands limit practical deployment. We identify the core computational bottleneck in OFT as its weight-centric implementation, which relies on costly matrix-matrix multiplications with cubic complexity. To overcome this, we propose OFTv2, an input-centric reformulation that instead uses matrix-vector multiplications (i.e., matrix-free computation), reducing the computational cost to quadratic. We further introduce the Cayley-Neumann parameterization, an efficient orthogonal parameterization that approximates the matrix inversion in Cayley transform via a truncated Neumann series. These modifications allow OFTv2 to achieve up to 10x faster training and 3x lower GPU memory usage without compromising performance. In addition, we extend OFTv2 to support finetuning quantized foundation models and show that it outperforms the popular QLoRA in training stability, efficiency, and memory usage.