LoRA Land: 310 Modelos de Linguagem Ajustados que Rivalizam com o GPT-4, Um Relatório Técnico

Resumo

A Adaptação de Baixo Rank (LoRA) emergiu como um dos métodos mais amplamente adotados para o Ajuste Fino Eficiente em Parâmetros (PEFT) de Modelos de Linguagem de Grande Escala (LLMs). O LoRA reduz o número de parâmetros treináveis e o uso de memória, ao mesmo tempo que alcança desempenho comparável ao ajuste fino completo. Nosso objetivo é avaliar a viabilidade de treinar e servir LLMs ajustados com LoRA em aplicações do mundo real. Primeiro, medimos a qualidade de LLMs ajustados com adaptadores de baixo rank quantizados em 10 modelos base e 31 tarefas, totalizando 310 modelos. Descobrimos que os modelos ajustados com LoRA de 4 bits superam os modelos base em 34 pontos e o GPT-4 em 10 pontos, em média. Segundo, investigamos os modelos base mais eficazes para ajuste fino e avaliamos as capacidades correlativas e preditivas de heurísticas de complexidade de tarefas na previsão dos resultados do ajuste fino. Por fim, avaliamos a latência e as capacidades de concorrência do LoRAX, um servidor de inferência Multi-LoRA de código aberto que facilita a implantação de múltiplos modelos ajustados com LoRA em uma única GPU, utilizando pesos compartilhados do modelo base e carregamento dinâmico de adaptadores. O LoRAX alimenta o LoRA Land, uma aplicação web que hospeda 25 LLMs Mistral-7B ajustados com LoRA em uma única GPU NVIDIA A100 com 80GB de memória. O LoRA Land destaca a qualidade e a relação custo-benefício de empregar múltiplos LLMs especializados em vez de um único LLM de propósito geral.

English

Low Rank Adaptation (LoRA) has emerged as one of the most widely adopted methods for Parameter Efficient Fine-Tuning (PEFT) of Large Language Models (LLMs). LoRA reduces the number of trainable parameters and memory usage while achieving comparable performance to full fine-tuning. We aim to assess the viability of training and serving LLMs fine-tuned with LoRA in real-world applications. First, we measure the quality of LLMs fine-tuned with quantized low rank adapters across 10 base models and 31 tasks for a total of 310 models. We find that 4-bit LoRA fine-tuned models outperform base models by 34 points and GPT-4 by 10 points on average. Second, we investigate the most effective base models for fine-tuning and assess the correlative and predictive capacities of task complexity heuristics in forecasting the outcomes of fine-tuning. Finally, we evaluate the latency and concurrency capabilities of LoRAX, an open-source Multi-LoRA inference server that facilitates the deployment of multiple LoRA fine-tuned models on a single GPU using shared base model weights and dynamic adapter loading. LoRAX powers LoRA Land, a web application that hosts 25 LoRA fine-tuned Mistral-7B LLMs on a single NVIDIA A100 GPU with 80GB memory. LoRA Land highlights the quality and cost-effectiveness of employing multiple specialized LLMs over a single, general-purpose LLM.

LoRA Land: 310 Modelos de Linguagem Ajustados que Rivalizam com o GPT-4, Um Relatório Técnico

LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, A Technical Report

Resumo

Support