올포원: 파라미터 효율적 미세 조정을 위한 일반화된 LoRA

초록

우리는 범용적인 파라미터 효율적 미세 조정 작업을 위한 고급 접근법인 Generalized LoRA(GLoRA)를 제안합니다. GLoRA는 Low-Rank Adaptation(LoRA)을 개선하여, 사전 훈련된 모델의 가중치를 최적화하고 중간 활성화를 조정하기 위해 일반화된 프롬프트 모듈을 사용함으로써 다양한 작업과 데이터셋에서 더 큰 유연성과 능력을 제공합니다. 또한, GLoRA는 각 계층의 개별 어댑터를 학습하는 확장 가능하고 모듈화된 계층별 구조 탐색을 통해 효율적인 파라미터 적응을 가능하게 합니다. 통합된 수학적 공식에서 출발한 GLoRA는 가중치와 활성화에 추가 차원을 통해 새로운 작업에 적응함으로써 강력한 전이 학습, 소수 샷 학습 및 도메인 일반화 능력을 보여줍니다. 포괄적인 실험을 통해 GLoRA가 자연어, 전문 및 구조화된 벤치마크에서 이전의 모든 방법을 능가하며, 다양한 데이터셋에서 더 적은 파라미터와 계산량으로 우수한 정확도를 달성함을 입증했습니다. 더욱이, 우리의 구조적 재파라미터화 설계는 GLoRA가 추가 추론 비용을 발생시키지 않도록 보장하여, 자원이 제한된 응용 프로그램에 실용적인 솔루션으로 자리매김합니다. 코드는 https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA에서 확인할 수 있습니다.

English

We present Generalized LoRA (GLoRA), an advanced approach for universal parameter-efficient fine-tuning tasks. Enhancing Low-Rank Adaptation (LoRA), GLoRA employs a generalized prompt module to optimize pre-trained model weights and adjust intermediate activations, providing more flexibility and capability across diverse tasks and datasets. Moreover, GLoRA facilitates efficient parameter adaptation by employing a scalable, modular, layer-wise structure search that learns individual adapter of each layer. Originating from a unified mathematical formulation, GLoRA exhibits strong transfer learning, few-shot learning and domain generalization abilities, as it adjusts to new tasks through additional dimensions on weights and activations. Comprehensive experiments demonstrate that GLoRA outperforms all previous methods in natural, specialized, and structured benchmarks, achieving superior accuracy with fewer parameters and computations on various datasets. Furthermore, our structural re-parameterization design ensures that GLoRA incurs no extra inference cost, rendering it a practical solution for resource-limited applications. Code is available at: https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.

올포원: 파라미터 효율적 미세 조정을 위한 일반화된 LoRA

One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

초록

Support