Un-pour-Tous : LoRA Généralisé pour le Réglage Fin Efficace en Paramètres

One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

June 13, 2023

Auteurs: Arnav Chavan, Zhuang Liu, Deepak Gupta, Eric Xing, Zhiqiang Shen

cs.AI

Résumé

Nous présentons Generalized LoRA (GLoRA), une approche avancée pour les tâches universelles de réglage fin efficace en paramètres. Améliorant l'Adaptation à Faible Rang (LoRA), GLoRA utilise un module d'invite généralisé pour optimiser les poids des modèles pré-entraînés et ajuster les activations intermédiaires, offrant ainsi plus de flexibilité et de capacité pour diverses tâches et ensembles de données. De plus, GLoRA facilite l'adaptation efficace des paramètres en employant une recherche modulaire et évolutive de structure couche par couche, qui apprend un adaptateur individuel pour chaque couche. Issu d'une formulation mathématique unifiée, GLoRA démontre de solides capacités en apprentissage par transfert, en apprentissage en few-shot et en généralisation de domaine, car il s'adapte à de nouvelles tâches grâce à des dimensions supplémentaires sur les poids et les activations. Des expériences approfondies montrent que GLoRA surpasse toutes les méthodes précédentes sur des benchmarks naturels, spécialisés et structurés, atteignant une précision supérieure avec moins de paramètres et de calculs sur divers ensembles de données. Par ailleurs, notre conception de reparamétrisation structurelle garantit que GLoRA n'entraîne aucun coût d'inférence supplémentaire, en faisant une solution pratique pour les applications à ressources limitées. Le code est disponible à l'adresse : https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.

English

We present Generalized LoRA (GLoRA), an advanced approach for universal parameter-efficient fine-tuning tasks. Enhancing Low-Rank Adaptation (LoRA), GLoRA employs a generalized prompt module to optimize pre-trained model weights and adjust intermediate activations, providing more flexibility and capability across diverse tasks and datasets. Moreover, GLoRA facilitates efficient parameter adaptation by employing a scalable, modular, layer-wise structure search that learns individual adapter of each layer. Originating from a unified mathematical formulation, GLoRA exhibits strong transfer learning, few-shot learning and domain generalization abilities, as it adjusts to new tasks through additional dimensions on weights and activations. Comprehensive experiments demonstrate that GLoRA outperforms all previous methods in natural, specialized, and structured benchmarks, achieving superior accuracy with fewer parameters and computations on various datasets. Furthermore, our structural re-parameterization design ensures that GLoRA incurs no extra inference cost, rendering it a practical solution for resource-limited applications. Code is available at: https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.