LLM-FP4 : Transformers quantifiés en virgule flottante 4 bits

Résumé

Nous proposons LLM-FP4 pour la quantification des poids et des activations dans les grands modèles de langage (LLM) jusqu'à des valeurs flottantes sur 4 bits, de manière post-entraînement. Les solutions existantes de quantification post-entraînement (PTQ) sont principalement basées sur des entiers et peinent à atteindre des largeurs de bits inférieures à 8 bits. Par rapport à la quantification entière, la quantification en virgule flottante (FP) est plus flexible et peut mieux gérer les distributions à longue traîne ou en forme de cloche, devenant ainsi un choix par défaut sur de nombreuses plateformes matérielles. Une caractéristique de la quantification FP est que ses performances dépendent largement du choix des bits d'exposant et de la plage de découpage. À cet égard, nous construisons une base solide pour FP-PTQ en recherchant les paramètres de quantification optimaux. De plus, nous observons un motif de variance inter-canal élevée et de variance intra-canal faible dans les distributions d'activation, ce qui augmente la difficulté de quantification des activations. Nous constatons que ce motif est cohérent à travers un spectre de modèles de transformateurs conçus pour diverses tâches, tels que les LLM, BERT et les modèles Vision Transformer. Pour résoudre ce problème, nous proposons une quantification des activations par canal et montrons que ces facteurs d'échelle supplémentaires peuvent être reparamétrés comme des biais exponentiels des poids, engendrant un coût négligeable. Notre méthode, pour la première fois, peut quantifier à la fois les poids et les activations du LLaMA-13B à seulement 4 bits et atteint un score moyen de 63,1 sur les tâches de raisonnement zero-shot de bon sens, ce qui est seulement 5,8 points inférieur au modèle en pleine précision, surpassant significativement l'état de l'art précédent de 12,7 points. Le code est disponible à l'adresse : https://github.com/nbasyl/LLM-FP4.

English

We propose LLM-FP4 for quantizing both weights and activations in large language models (LLMs) down to 4-bit floating-point values, in a post-training manner. Existing post-training quantization (PTQ) solutions are primarily integer-based and struggle with bit widths below 8 bits. Compared to integer quantization, floating-point (FP) quantization is more flexible and can better handle long-tail or bell-shaped distributions, and it has emerged as a default choice in many hardware platforms. One characteristic of FP quantization is that its performance largely depends on the choice of exponent bits and clipping range. In this regard, we construct a strong FP-PTQ baseline by searching for the optimal quantization parameters. Furthermore, we observe a high inter-channel variance and low intra-channel variance pattern in activation distributions, which adds activation quantization difficulty. We recognize this pattern to be consistent across a spectrum of transformer models designed for diverse tasks, such as LLMs, BERT, and Vision Transformer models. To tackle this, we propose per-channel activation quantization and show that these additional scaling factors can be reparameterized as exponential biases of weights, incurring a negligible cost. Our method, for the first time, can quantize both weights and activations in the LLaMA-13B to only 4-bit and achieves an average score of 63.1 on the common sense zero-shot reasoning tasks, which is only 5.8 lower than the full-precision model, significantly outperforming the previous state-of-the-art by 12.7 points. Code is available at: https://github.com/nbasyl/LLM-FP4.

LLM-FP4 : Transformers quantifiés en virgule flottante 4 bits

LLM-FP4: 4-Bit Floating-Point Quantized Transformers

Résumé

Support