LoRA Land: 310 Modelos de Lenguaje Ajustados que Rivalizan con GPT-4, Un Informe Técnico

LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, A Technical Report

April 29, 2024

Autores: Justin Zhao, Timothy Wang, Wael Abid, Geoffrey Angus, Arnav Garg, Jeffery Kinnison, Alex Sherstinsky, Piero Molino, Travis Addair, Devvret Rishi

cs.AI

Resumen

Low Rank Adaptation (LoRA) ha surgido como uno de los métodos más ampliamente adoptados para el Ajuste Fino Eficiente en Parámetros (PEFT) de Modelos de Lenguaje de Gran Escala (LLMs). LoRA reduce el número de parámetros entrenables y el uso de memoria, logrando un rendimiento comparable al ajuste fino completo. Nuestro objetivo es evaluar la viabilidad de entrenar y servir LLMs ajustados con LoRA en aplicaciones del mundo real. Primero, medimos la calidad de los LLMs ajustados con adaptadores de bajo rango cuantizados en 10 modelos base y 31 tareas, para un total de 310 modelos. Encontramos que los modelos ajustados con LoRA de 4 bits superan a los modelos base en 34 puntos y a GPT-4 en 10 puntos en promedio. Segundo, investigamos los modelos base más efectivos para el ajuste fino y evaluamos las capacidades correlativas y predictivas de las heurísticas de complejidad de tareas para pronosticar los resultados del ajuste fino. Finalmente, evaluamos la latencia y las capacidades de concurrencia de LoRAX, un servidor de inferencia Multi-LoRA de código abierto que facilita el despliegue de múltiples modelos ajustados con LoRA en una sola GPU utilizando pesos compartidos del modelo base y carga dinámica de adaptadores. LoRAX impulsa LoRA Land, una aplicación web que aloja 25 LLMs Mistral-7B ajustados con LoRA en una sola GPU NVIDIA A100 con 80GB de memoria. LoRA Land destaca la calidad y la rentabilidad de emplear múltiples LLMs especializados en lugar de un único LLM de propósito general.

English

Low Rank Adaptation (LoRA) has emerged as one of the most widely adopted methods for Parameter Efficient Fine-Tuning (PEFT) of Large Language Models (LLMs). LoRA reduces the number of trainable parameters and memory usage while achieving comparable performance to full fine-tuning. We aim to assess the viability of training and serving LLMs fine-tuned with LoRA in real-world applications. First, we measure the quality of LLMs fine-tuned with quantized low rank adapters across 10 base models and 31 tasks for a total of 310 models. We find that 4-bit LoRA fine-tuned models outperform base models by 34 points and GPT-4 by 10 points on average. Second, we investigate the most effective base models for fine-tuning and assess the correlative and predictive capacities of task complexity heuristics in forecasting the outcomes of fine-tuning. Finally, we evaluate the latency and concurrency capabilities of LoRAX, an open-source Multi-LoRA inference server that facilitates the deployment of multiple LoRA fine-tuned models on a single GPU using shared base model weights and dynamic adapter loading. LoRAX powers LoRA Land, a web application that hosts 25 LoRA fine-tuned Mistral-7B LLMs on a single NVIDIA A100 GPU with 80GB memory. LoRA Land highlights the quality and cost-effectiveness of employing multiple specialized LLMs over a single, general-purpose LLM.