"Дайте мне BF16 или дайте мне смерть"? Компромисс точности и производительности в квантовании LLM.

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization

November 4, 2024

Авторы: Eldar Kurtic, Alexandre Marques, Shubhra Pandit, Mark Kurtz, Dan Alistarh

cs.AI

Аннотация

Несмотря на популярность квантования больших языковых моделей (LLM) для ускорения вывода, остается значительная неопределенность относительно компромисса между точностью и производительностью, связанного с различными форматами квантования. Мы представляем обширное эмпирическое исследование квантованной точности, оценивая популярные форматы квантования (FP8, INT8, INT4) на академических бенчмарках и задачах реального мира, на всей семье моделей Llama-3.1. Кроме того, наше исследование исследует разницу в сгенерированном тексте квантованными моделями по сравнению с их неквантованными аналогами. Помимо бенчмарков, мы также представляем несколько улучшений квантования, которые позволили нам достичь результатов восстановления точности на уровне передовых технологий. Наше исследование, охватывающее более 500 000 отдельных оценок, приводит к нескольким ключевым выводам: (1) квантование весов и активаций FP8 (W8A8-FP) не вызывает потерь на всех масштабах моделей, (2) квантование весов и активаций INT8 (W8A8-INT), при правильной настройке, приводит к удивительно низкому снижению точности на уровне 1-3%, и (3) квантование только весов INT4 (W4A16-INT) конкурентоспособно с 8-битным целочисленным квантованием весов и активаций. Для решения вопроса о "лучшем" формате для конкретной среды развертывания мы проводим анализ производительности вывода с использованием популярного открытого фреймворка vLLM на различных архитектурах GPU. Мы обнаруживаем, что W4A16 предлагает лучшую стоимостную эффективность для синхронных развертываний и для асинхронного развертывания на средних GPU. В то же время форматы W8A8 превосходят в асинхронном развертывании "непрерывной пакетной обработки" средних и крупных моделей на высокопроизводительных GPU. Наши результаты предоставляют набор практических рекомендаций для развертывания квантованных LLM на различных масштабах и требованиях к производительности.

English

Despite the popularity of large language model (LLM) quantization for inference acceleration, significant uncertainty remains regarding the accuracy-performance trade-offs associated with various quantization formats. We present a comprehensive empirical study of quantized accuracy, evaluating popular quantization formats (FP8, INT8, INT4) across academic benchmarks and real-world tasks, on the entire Llama-3.1 model family. Additionally, our study examines the difference in text generated by quantized models versus their uncompressed counterparts. Beyond benchmarks, we also present a couple of quantization improvements which allowed us to obtain state-of-the-art accuracy recovery results. Our investigation, encompassing over 500,000 individual evaluations, yields several key findings: (1) FP8 weight and activation quantization (W8A8-FP) is lossless across all model scales, (2) INT8 weight and activation quantization (W8A8-INT), when properly tuned, incurs surprisingly low 1-3% accuracy degradation, and (3) INT4 weight-only quantization (W4A16-INT) is competitive with 8-bit integer weight and activation quantization. To address the question of the "best" format for a given deployment environment, we conduct inference performance analysis using the popular open-source vLLM framework on various GPU architectures. We find that W4A16 offers the best cost-efficiency for synchronous deployments, and for asynchronous deployment on mid-tier GPUs. At the same time, W8A8 formats excel in asynchronous "continuous batching" deployment of mid- and large-size models on high-end GPUs. Our results provide a set of practical guidelines for deploying quantized LLMs across scales and performance requirements.