One-for-All: パラメータ効率の良いファインチューニングのための汎用LoRA

要旨

我々は、汎用的なパラメータ効率の良いファインチューニングタスクのための先進的なアプローチであるGeneralized LoRA（GLoRA）を提案します。GLoRAは、Low-Rank Adaptation（LoRA）を拡張し、事前学習済みモデルの重みを最適化し、中間活性化を調整するための汎用プロンプトモジュールを採用することで、多様なタスクやデータセットにおいてより柔軟性と能力を提供します。さらに、GLoRAは、各層の個別のアダプタを学習するスケーラブルでモジュール型の層ごとの構造探索を採用することで、効率的なパラメータ適応を促進します。統一された数学的定式化に基づくGLoRAは、重みと活性化に追加の次元を介して新しいタスクに適応するため、強力な転移学習、少数ショット学習、およびドメイン一般化能力を示します。包括的な実験により、GLoRAが自然、専門、および構造化されたベンチマークにおいて、従来のすべての手法を上回り、さまざまなデータセットでより少ないパラメータと計算量で優れた精度を達成することが実証されています。さらに、我々の構造的再パラメータ化設計により、GLoRAは追加の推論コストを発生させず、リソースが限られたアプリケーションにとって実用的なソリューションとなります。コードは以下で利用可能です：https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA。

English

We present Generalized LoRA (GLoRA), an advanced approach for universal parameter-efficient fine-tuning tasks. Enhancing Low-Rank Adaptation (LoRA), GLoRA employs a generalized prompt module to optimize pre-trained model weights and adjust intermediate activations, providing more flexibility and capability across diverse tasks and datasets. Moreover, GLoRA facilitates efficient parameter adaptation by employing a scalable, modular, layer-wise structure search that learns individual adapter of each layer. Originating from a unified mathematical formulation, GLoRA exhibits strong transfer learning, few-shot learning and domain generalization abilities, as it adjusts to new tasks through additional dimensions on weights and activations. Comprehensive experiments demonstrate that GLoRA outperforms all previous methods in natural, specialized, and structured benchmarks, achieving superior accuracy with fewer parameters and computations on various datasets. Furthermore, our structural re-parameterization design ensures that GLoRA incurs no extra inference cost, rendering it a practical solution for resource-limited applications. Code is available at: https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.

One-for-All: パラメータ効率の良いファインチューニングのための汎用LoRA

One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

要旨

Support