FlatQuant: La planitud importa para la cuantificación de LLM

FlatQuant: Flatness Matters for LLM Quantization

October 12, 2024

Autores: Yuxuan Sun, Ruikang Liu, Haoli Bai, Han Bao, Kang Zhao, Yuening Li, Jiaxin Hu, Xianzhi Yu, Lu Hou, Chun Yuan, Xin Jiang, Wulong Liu, Jun Yao

cs.AI

Resumen

Recientemente, la cuantización ha sido ampliamente utilizada para la compresión y aceleración de grandes modelos de lenguaje (LLMs). Debido a los valores atípicos en los LLMs, es crucial aplanar los pesos y activaciones para minimizar el error de cuantización con puntos de cuantización equidistantes. Investigaciones previas exploran diversas transformaciones previas a la cuantización para suprimir los valores atípicos, como el escalado por canal y la transformación de Hadamard. Sin embargo, observamos que estos pesos y activaciones transformados aún pueden permanecer pronunciados y dispersos. En este documento, proponemos FlatQuant (Transformación Afín Rápida y Aprendible), un nuevo enfoque de cuantización posterior al entrenamiento para mejorar la planitud de los pesos y activaciones. Nuestro enfoque identifica transformaciones afines óptimas adaptadas a cada capa lineal, calibradas en horas a través de un objetivo ligero. Para reducir la sobrecarga de tiempo de ejecución, aplicamos la descomposición de Kronecker a las matrices de transformación y fusionamos todas las operaciones en FlatQuant en un solo núcleo. Experimentos extensos muestran que FlatQuant establece un nuevo referente de cuantización de vanguardia. Por ejemplo, logra una disminución de precisión de menos del 1% para la cuantización W4A4 en el modelo LLaMA-3-70B, superando a SpinQuant en un 7.5%. En cuanto a la latencia de inferencia, FlatQuant reduce la desaceleración inducida por la transformación previa a la cuantización de 0.26x de QuaRot a apenas 0.07x, logrando hasta 2.3x de aceleración para el prellenado y 1.7x de aceleración para la decodificación, respectivamente. El código está disponible en: https://github.com/ruikangliu/FlatQuant.

English

Recently, quantization has been widely used for the compression and acceleration of large language models~(LLMs). Due to the outliers in LLMs, it is crucial to flatten weights and activations to minimize quantization error with the equally spaced quantization points. Prior research explores various pre-quantization transformations to suppress outliers, such as per-channel scaling and Hadamard transformation. However, we observe that these transformed weights and activations can still remain steep and outspread. In this paper, we propose FlatQuant (Fast and Learnable Affine Transformation), a new post-training quantization approach to enhance flatness of weights and activations. Our approach identifies optimal affine transformations tailored to each linear layer, calibrated in hours via a lightweight objective. To reduce runtime overhead, we apply Kronecker decomposition to the transformation matrices, and fuse all operations in FlatQuant into a single kernel. Extensive experiments show that FlatQuant sets up a new state-of-the-art quantization benchmark. For instance, it achieves less than 1% accuracy drop for W4A4 quantization on the LLaMA-3-70B model, surpassing SpinQuant by 7.5%. For inference latency, FlatQuant reduces the slowdown induced by pre-quantization transformation from 0.26x of QuaRot to merely 0.07x, bringing up to 2.3x speedup for prefill and 1.7x speedup for decoding, respectively. Code is available at: https://github.com/ruikangliu/FlatQuant.