Ортогональная тонкая настройка, масштабируемая для практического применения

Orthogonal Finetuning Made Scalable

June 24, 2025

Авторы: Zeju Qiu, Weiyang Liu, Adrian Weller, Bernhard Schölkopf

cs.AI

Аннотация

Ортогональная тонкая настройка (OFT) обеспечивает высокую параметрическую эффективность адаптации, предотвращая катастрофическое забывание, однако её высокие требования к времени выполнения и памяти ограничивают практическое применение. Мы выявили, что основное вычислительное узкое место в OFT связано с её реализацией, ориентированной на веса, которая опирается на дорогостоящие матрично-матричные умножения с кубической сложностью. Чтобы преодолеть это, мы предлагаем OFTv2 — переформулировку, ориентированную на входные данные, которая вместо этого использует матрично-векторные умножения (т.е. вычисления без матриц), снижая вычислительную стоимость до квадратичной. Мы также вводим параметризацию Кэли-Неймана — эффективную ортогональную параметризацию, которая аппроксимирует инверсию матрицы в преобразовании Кэли с помощью усечённого ряда Неймана. Эти модификации позволяют OFTv2 достичь до 10-кратного ускорения обучения и 3-кратного снижения использования памяти GPU без ущерба для производительности. Кроме того, мы расширяем OFTv2 для поддержки тонкой настройки квантованных базовых моделей и показываем, что она превосходит популярный метод QLoRA по стабильности обучения, эффективности и использованию памяти.

English

Orthogonal finetuning (OFT) offers highly parameter-efficient adaptation while preventing catastrophic forgetting, but its high runtime and memory demands limit practical deployment. We identify the core computational bottleneck in OFT as its weight-centric implementation, which relies on costly matrix-matrix multiplications with cubic complexity. To overcome this, we propose OFTv2, an input-centric reformulation that instead uses matrix-vector multiplications (i.e., matrix-free computation), reducing the computational cost to quadratic. We further introduce the Cayley-Neumann parameterization, an efficient orthogonal parameterization that approximates the matrix inversion in Cayley transform via a truncated Neumann series. These modifications allow OFTv2 to achieve up to 10x faster training and 3x lower GPU memory usage without compromising performance. In addition, we extend OFTv2 to support finetuning quantized foundation models and show that it outperforms the popular QLoRA in training stability, efficiency, and memory usage.