LoRA Land: 310 Feinabgestimmte LLMs, die mit GPT-4 konkurrieren, Ein Technischer Bericht

LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, A Technical Report

April 29, 2024

Autoren: Justin Zhao, Timothy Wang, Wael Abid, Geoffrey Angus, Arnav Garg, Jeffery Kinnison, Alex Sherstinsky, Piero Molino, Travis Addair, Devvret Rishi

cs.AI

Zusammenfassung

Low Rank Adaptation (LoRA) hat sich als eine der am weitesten verbreiteten Methoden für die parameter-effiziente Feinabstimmung (PEFT) von großen Sprachmodellen (LLMs) etabliert. LoRA reduziert die Anzahl der trainierbaren Parameter und den Speicherverbrauch, während eine vergleichbare Leistung wie bei vollständiger Feinabstimmung erzielt wird. Unser Ziel ist es, die Machbarkeit des Trainings und des Einsatzes von mit LoRA feinabgestimmten LLMs in realen Anwendungen zu bewerten. Zunächst messen wir die Qualität von mit quantisierten Low-Rank-Adaptern feinabgestimmten LLMs über 10 Basismodelle und 31 Aufgaben für insgesamt 310 Modelle. Wir stellen fest, dass 4-Bit LoRA-feinabgestimmte Modelle im Durchschnitt die Basismodelle um 34 Punkte und GPT-4 um 10 Punkte übertreffen. Zweitens untersuchen wir die effektivsten Basismodelle für die Feinabstimmung und bewerten die korrelative und prädiktive Kapazitäten von Heuristiken zur Aufgabenkomplexität bei der Vorhersage der Ergebnisse der Feinabstimmung. Schließlich evaluieren wir die Latenz- und Parallelitätsfähigkeiten von LoRAX, einem Open-Source Multi-LoRA-Inferenzserver, der die Bereitstellung mehrerer mit LoRA feinabgestimmter Modelle auf einer einzigen GPU unter Verwendung gemeinsamer Basismodellgewichte und dynamischem Adapterladen erleichtert. LoRAX betreibt LoRA Land, eine Webanwendung, die 25 mit LoRA feinabgestimmte Mistral-7B LLMs auf einer einzigen NVIDIA A100 GPU mit 80 GB Speicher hostet. LoRA Land hebt die Qualität und Kosteneffizienz hervor, die sich aus der Verwendung mehrerer spezialisierter LLMs gegenüber einem einzigen, allgemeinen LLM ergeben.

English

Low Rank Adaptation (LoRA) has emerged as one of the most widely adopted methods for Parameter Efficient Fine-Tuning (PEFT) of Large Language Models (LLMs). LoRA reduces the number of trainable parameters and memory usage while achieving comparable performance to full fine-tuning. We aim to assess the viability of training and serving LLMs fine-tuned with LoRA in real-world applications. First, we measure the quality of LLMs fine-tuned with quantized low rank adapters across 10 base models and 31 tasks for a total of 310 models. We find that 4-bit LoRA fine-tuned models outperform base models by 34 points and GPT-4 by 10 points on average. Second, we investigate the most effective base models for fine-tuning and assess the correlative and predictive capacities of task complexity heuristics in forecasting the outcomes of fine-tuning. Finally, we evaluate the latency and concurrency capabilities of LoRAX, an open-source Multi-LoRA inference server that facilitates the deployment of multiple LoRA fine-tuned models on a single GPU using shared base model weights and dynamic adapter loading. LoRAX powers LoRA Land, a web application that hosts 25 LoRA fine-tuned Mistral-7B LLMs on a single NVIDIA A100 GPU with 80GB memory. LoRA Land highlights the quality and cost-effectiveness of employing multiple specialized LLMs over a single, general-purpose LLM.