LLM-FP4: Transformadores Cuantizados en Punto Flotante de 4 Bits

Resumen

Proponemos LLM-FP4 para cuantizar tanto los pesos como las activaciones en modelos de lenguaje grandes (LLMs) hasta valores de punto flotante de 4 bits, de manera post-entrenamiento. Las soluciones existentes de cuantización post-entrenamiento (PTQ) se basan principalmente en enteros y tienen dificultades con anchos de bits inferiores a 8 bits. En comparación con la cuantización de enteros, la cuantización de punto flotante (FP) es más flexible y puede manejar mejor distribuciones de cola larga o en forma de campana, y se ha convertido en una opción predeterminada en muchas plataformas de hardware. Una característica de la cuantización FP es que su rendimiento depende en gran medida de la elección de los bits de exponente y el rango de recorte. En este sentido, construimos una línea base sólida de FP-PTQ mediante la búsqueda de los parámetros de cuantización óptimos. Además, observamos un patrón de alta varianza intercanal y baja varianza intracanal en las distribuciones de activación, lo que aumenta la dificultad de la cuantización de activaciones. Reconocemos que este patrón es consistente en una variedad de modelos de transformadores diseñados para diversas tareas, como LLMs, BERT y modelos de Vision Transformer. Para abordar esto, proponemos la cuantización de activaciones por canal y demostramos que estos factores de escala adicionales pueden ser reparametrizados como sesgos exponenciales de los pesos, incurriendo en un costo insignificante. Nuestro método, por primera vez, puede cuantizar tanto los pesos como las activaciones en el LLaMA-13B a solo 4 bits y logra una puntuación promedio de 63.1 en tareas de razonamiento de sentido común sin ejemplos previos, lo cual es solo 5.8 puntos inferior al modelo de precisión completa, superando significativamente el estado del arte anterior por 12.7 puntos. El código está disponible en: https://github.com/nbasyl/LLM-FP4.

English

We propose LLM-FP4 for quantizing both weights and activations in large language models (LLMs) down to 4-bit floating-point values, in a post-training manner. Existing post-training quantization (PTQ) solutions are primarily integer-based and struggle with bit widths below 8 bits. Compared to integer quantization, floating-point (FP) quantization is more flexible and can better handle long-tail or bell-shaped distributions, and it has emerged as a default choice in many hardware platforms. One characteristic of FP quantization is that its performance largely depends on the choice of exponent bits and clipping range. In this regard, we construct a strong FP-PTQ baseline by searching for the optimal quantization parameters. Furthermore, we observe a high inter-channel variance and low intra-channel variance pattern in activation distributions, which adds activation quantization difficulty. We recognize this pattern to be consistent across a spectrum of transformer models designed for diverse tasks, such as LLMs, BERT, and Vision Transformer models. To tackle this, we propose per-channel activation quantization and show that these additional scaling factors can be reparameterized as exponential biases of weights, incurring a negligible cost. Our method, for the first time, can quantize both weights and activations in the LLaMA-13B to only 4-bit and achieves an average score of 63.1 on the common sense zero-shot reasoning tasks, which is only 5.8 lower than the full-precision model, significantly outperforming the previous state-of-the-art by 12.7 points. Code is available at: https://github.com/nbasyl/LLM-FP4.

LLM-FP4: Transformadores Cuantizados en Punto Flotante de 4 Bits

LLM-FP4: 4-Bit Floating-Point Quantized Transformers

Resumen

Support