"¿Dame BF16 o dame la muerte"? Compensaciones entre precisión y rendimiento en la cuantificación de LLM

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization

November 4, 2024

Autores: Eldar Kurtic, Alexandre Marques, Shubhra Pandit, Mark Kurtz, Dan Alistarh

cs.AI

Resumen

A pesar de la popularidad de la cuantificación de modelos de lenguaje grandes (LLM) para aceleración de inferencia, persiste una incertidumbre significativa en cuanto a los compromisos entre precisión y rendimiento asociados con varios formatos de cuantificación. Presentamos un estudio empírico exhaustivo de precisión cuantizada, evaluando formatos de cuantificación populares (FP8, INT8, INT4) en bancos de pruebas académicos y tareas del mundo real, en toda la familia de modelos Llama-3.1. Además, nuestro estudio examina la diferencia en el texto generado por modelos cuantizados versus sus contrapartes no comprimidas. Más allá de los bancos de pruebas, también presentamos un par de mejoras en la cuantificación que nos permitieron obtener resultados de recuperación de precisión de vanguardia. Nuestra investigación, que abarca más de 500,000 evaluaciones individuales, arroja varios hallazgos clave: (1) la cuantificación de peso y activación FP8 (W8A8-FP) es sin pérdidas en todas las escalas de modelo, (2) la cuantificación de peso y activación INT8 (W8A8-INT), cuando se ajusta adecuadamente, incurre en una degradación de precisión sorprendentemente baja del 1-3%, y (3) la cuantificación solo de peso INT4 (W4A16-INT) es competitiva con la cuantificación de peso y activación de enteros de 8 bits. Para abordar la cuestión del "mejor" formato para un entorno de implementación dado, realizamos un análisis de rendimiento de inferencia utilizando el popular marco de código abierto vLLM en varias arquitecturas de GPU. Descubrimos que W4A16 ofrece la mejor eficiencia de costos para implementaciones síncronas y para implementaciones asíncronas en GPU de gama media. Al mismo tiempo, los formatos W8A8 destacan en la implementación asincrónica de "lote continuo" de modelos de tamaño mediano y grande en GPU de alta gama. Nuestros resultados proporcionan un conjunto de pautas prácticas para implementar LLMs cuantizados en diferentes escalas y requisitos de rendimiento.

English

Despite the popularity of large language model (LLM) quantization for inference acceleration, significant uncertainty remains regarding the accuracy-performance trade-offs associated with various quantization formats. We present a comprehensive empirical study of quantized accuracy, evaluating popular quantization formats (FP8, INT8, INT4) across academic benchmarks and real-world tasks, on the entire Llama-3.1 model family. Additionally, our study examines the difference in text generated by quantized models versus their uncompressed counterparts. Beyond benchmarks, we also present a couple of quantization improvements which allowed us to obtain state-of-the-art accuracy recovery results. Our investigation, encompassing over 500,000 individual evaluations, yields several key findings: (1) FP8 weight and activation quantization (W8A8-FP) is lossless across all model scales, (2) INT8 weight and activation quantization (W8A8-INT), when properly tuned, incurs surprisingly low 1-3% accuracy degradation, and (3) INT4 weight-only quantization (W4A16-INT) is competitive with 8-bit integer weight and activation quantization. To address the question of the "best" format for a given deployment environment, we conduct inference performance analysis using the popular open-source vLLM framework on various GPU architectures. We find that W4A16 offers the best cost-efficiency for synchronous deployments, and for asynchronous deployment on mid-tier GPUs. At the same time, W8A8 formats excel in asynchronous "continuous batching" deployment of mid- and large-size models on high-end GPUs. Our results provide a set of practical guidelines for deploying quantized LLMs across scales and performance requirements.