"Dê-me BF16 ou Dê-me a Morte"? Trocas entre Precisão e Desempenho em Quantização de LLM

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization

November 4, 2024

Autores: Eldar Kurtic, Alexandre Marques, Shubhra Pandit, Mark Kurtz, Dan Alistarh

cs.AI

Resumo

Apesar da popularidade da quantização de modelos de linguagem grandes (LLM) para aceleração de inferência, permanece uma incerteza significativa em relação aos compromissos entre precisão e desempenho associados a vários formatos de quantização. Apresentamos um estudo empírico abrangente da precisão quantizada, avaliando formatos de quantização populares (FP8, INT8, INT4) em benchmarks acadêmicos e tarefas do mundo real, em toda a família de modelos Llama-3.1. Além disso, nosso estudo examina a diferença no texto gerado por modelos quantizados em comparação com seus equivalentes não comprimidos. Além dos benchmarks, também apresentamos algumas melhorias na quantização que nos permitiram obter resultados de recuperação de precisão de ponta. Nossa investigação, abrangendo mais de 500.000 avaliações individuais, revela várias descobertas importantes: (1) a quantização de peso e ativação FP8 (W8A8-FP) é sem perdas em todas as escalas de modelo, (2) a quantização de peso e ativação INT8 (W8A8-INT), quando ajustada adequadamente, incorre em uma degradação de precisão surpreendentemente baixa de 1-3%, e (3) a quantização apenas de peso INT4 (W4A16-INT) é competitiva com a quantização de peso e ativação de inteiros de 8 bits. Para abordar a questão do "melhor" formato para um determinado ambiente de implantação, realizamos uma análise de desempenho de inferência usando o popular framework de código aberto vLLM em várias arquiteturas de GPU. Descobrimos que W4A16 oferece a melhor relação custo-eficácia para implantações síncronas e para implantação assíncrona em GPUs de médio porte. Ao mesmo tempo, os formatos W8A8 se destacam na implantação assíncrona de "lote contínuo" de modelos de médio e grande porte em GPUs de alta qualidade. Nossos resultados fornecem um conjunto de diretrizes práticas para implantar LLMs quantizados em diferentes escalas e requisitos de desempenho.

English

Despite the popularity of large language model (LLM) quantization for inference acceleration, significant uncertainty remains regarding the accuracy-performance trade-offs associated with various quantization formats. We present a comprehensive empirical study of quantized accuracy, evaluating popular quantization formats (FP8, INT8, INT4) across academic benchmarks and real-world tasks, on the entire Llama-3.1 model family. Additionally, our study examines the difference in text generated by quantized models versus their uncompressed counterparts. Beyond benchmarks, we also present a couple of quantization improvements which allowed us to obtain state-of-the-art accuracy recovery results. Our investigation, encompassing over 500,000 individual evaluations, yields several key findings: (1) FP8 weight and activation quantization (W8A8-FP) is lossless across all model scales, (2) INT8 weight and activation quantization (W8A8-INT), when properly tuned, incurs surprisingly low 1-3% accuracy degradation, and (3) INT4 weight-only quantization (W4A16-INT) is competitive with 8-bit integer weight and activation quantization. To address the question of the "best" format for a given deployment environment, we conduct inference performance analysis using the popular open-source vLLM framework on various GPU architectures. We find that W4A16 offers the best cost-efficiency for synchronous deployments, and for asynchronous deployment on mid-tier GPUs. At the same time, W8A8 formats excel in asynchronous "continuous batching" deployment of mid- and large-size models on high-end GPUs. Our results provide a set of practical guidelines for deploying quantized LLMs across scales and performance requirements.