LoRA Land : 310 modèles de langage affinés rivalisant avec GPT-4, un rapport technique

LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, A Technical Report

April 29, 2024

Auteurs: Justin Zhao, Timothy Wang, Wael Abid, Geoffrey Angus, Arnav Garg, Jeffery Kinnison, Alex Sherstinsky, Piero Molino, Travis Addair, Devvret Rishi

cs.AI

Résumé

L'adaptation à faible rang (LoRA) s'est imposée comme l'une des méthodes les plus largement adoptées pour le réglage fin efficace en paramètres (PEFT) des grands modèles de langage (LLM). LoRA réduit le nombre de paramètres entraînables et l'utilisation de la mémoire tout en atteignant des performances comparables à celles d'un réglage fin complet. Nous cherchons à évaluer la viabilité de l'entraînement et du déploiement de LLM réglés finement avec LoRA dans des applications réelles. Premièrement, nous mesurons la qualité des LLM réglés finement avec des adaptateurs à faible rang quantifiés sur 10 modèles de base et 31 tâches, pour un total de 310 modèles. Nous constatons que les modèles réglés finement avec LoRA en 4 bits surpassent les modèles de base de 34 points et GPT-4 de 10 points en moyenne. Deuxièmement, nous étudions les modèles de base les plus efficaces pour le réglage fin et évaluons les capacités corrélatives et prédictives des heuristiques de complexité des tâches pour anticiper les résultats du réglage fin. Enfin, nous évaluons la latence et les capacités de concurrence de LoRAX, un serveur d'inférence Multi-LoRA open-source qui facilite le déploiement de plusieurs modèles réglés finement avec LoRA sur un seul GPU en utilisant des poids de modèle de base partagés et un chargement dynamique des adaptateurs. LoRAX alimente LoRA Land, une application web qui héberge 25 LLM Mistral-7B réglés finement avec LoRA sur un seul GPU NVIDIA A100 avec 80 Go de mémoire. LoRA Land met en avant la qualité et la rentabilité de l'utilisation de plusieurs LLM spécialisés plutôt que d'un seul LLM à usage général.

English

Low Rank Adaptation (LoRA) has emerged as one of the most widely adopted methods for Parameter Efficient Fine-Tuning (PEFT) of Large Language Models (LLMs). LoRA reduces the number of trainable parameters and memory usage while achieving comparable performance to full fine-tuning. We aim to assess the viability of training and serving LLMs fine-tuned with LoRA in real-world applications. First, we measure the quality of LLMs fine-tuned with quantized low rank adapters across 10 base models and 31 tasks for a total of 310 models. We find that 4-bit LoRA fine-tuned models outperform base models by 34 points and GPT-4 by 10 points on average. Second, we investigate the most effective base models for fine-tuning and assess the correlative and predictive capacities of task complexity heuristics in forecasting the outcomes of fine-tuning. Finally, we evaluate the latency and concurrency capabilities of LoRAX, an open-source Multi-LoRA inference server that facilitates the deployment of multiple LoRA fine-tuned models on a single GPU using shared base model weights and dynamic adapter loading. LoRAX powers LoRA Land, a web application that hosts 25 LoRA fine-tuned Mistral-7B LLMs on a single NVIDIA A100 GPU with 80GB memory. LoRA Land highlights the quality and cost-effectiveness of employing multiple specialized LLMs over a single, general-purpose LLM.