BiLLM : Repousser les limites de la quantification post-entraînement pour les modèles de langage de grande taille

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs

February 6, 2024

Auteurs: Wei Huang, Yangdong Liu, Haotong Qin, Ying Li, Shiming Zhang, Xianglong Liu, Michele Magno, Xiaojuan Qi

cs.AI

Résumé

Les grands modèles de langage pré-entraînés (LLMs) présentent des capacités exceptionnelles de traitement général du langage, mais nécessitent des ressources importantes en mémoire et en calcul. En tant que technologie de compression puissante, la binarisation permet de réduire extrêmement les poids du modèle à seulement 1 bit, diminuant ainsi les coûteuses exigences en calcul et en mémoire. Cependant, les techniques de quantification existantes ne parviennent pas à maintenir les performances des LLMs avec des largeurs de bits ultra-faibles. Face à ce défi, nous présentons BiLLM, un schéma de quantification post-entraînement révolutionnaire à 1 bit, spécialement conçu pour les LLMs pré-entraînés. En se basant sur la distribution des poids des LLMs, BiLLM identifie et sélectionne structurellement les poids saillants, et minimise la perte de compression grâce à une stratégie efficace d'approximation résiduelle binaire. De plus, en considérant la distribution en forme de cloche des poids non saillants, nous proposons une recherche de division optimale pour les regrouper et les binariser avec précision. BiLLM atteint pour la première fois une inférence de haute précision (par exemple, une perplexité de 8,41 sur LLaMA2-70B) avec seulement 1,08 bit de poids, surpassant de manière significative les méthodes de quantification SOTA pour les LLMs sur diverses familles de modèles et métriques d'évaluation. Par ailleurs, BiLLM permet le processus de binarisation d'un LLM avec 7 milliards de poids en moins de 0,5 heure sur un seul GPU, démontrant une efficacité temporelle satisfaisante.

English

Pretrained large language models (LLMs) exhibit exceptional general language processing capabilities but come with significant demands on memory and computational resources. As a powerful compression technology, binarization can extremely reduce model weights to a mere 1 bit, lowering the expensive computation and memory requirements. However, existing quantization techniques fall short of maintaining LLM performance under ultra-low bit-widths. In response to this challenge, we present BiLLM, a groundbreaking 1-bit post-training quantization scheme tailored for pretrained LLMs. Based on the weight distribution of LLMs, BiLLM first identifies and structurally selects salient weights, and minimizes the compression loss through an effective binary residual approximation strategy. Moreover, considering the bell-shaped distribution of the non-salient weights, we propose an optimal splitting search to group and binarize them accurately. BiLLM achieving for the first time high-accuracy inference (e.g. 8.41 perplexity on LLaMA2-70B) with only 1.08-bit weights across various LLMs families and evaluation metrics, outperforms SOTA quantization methods of LLM by significant margins. Moreover, BiLLM enables the binarization process of the LLM with 7 billion weights within 0.5 hours on a single GPU, demonstrating satisfactory time efficiency.