BiLLM: Die Grenzen der Post-Training-Quantisierung für LLMs ausreizen

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs

February 6, 2024

Autoren: Wei Huang, Yangdong Liu, Haotong Qin, Ying Li, Shiming Zhang, Xianglong Liu, Michele Magno, Xiaojuan Qi

cs.AI

Zusammenfassung

Vortrainierte große Sprachmodelle (LLMs) zeigen außergewöhnliche Fähigkeiten in der allgemeinen Sprachverarbeitung, stellen jedoch erhebliche Anforderungen an Speicher und Rechenressourcen. Als leistungsstarke Kompressionstechnologie kann die Binarisierung die Modellgewichte auf lediglich 1 Bit reduzieren, wodurch der teure Rechen- und Speicherbedarf gesenkt wird. Bisherige Quantisierungstechniken scheitern jedoch daran, die Leistung von LLMs bei ultra-niedrigen Bitbreiten aufrechtzuerhalten. Als Antwort auf diese Herausforderung präsentieren wir BiLLM, ein bahnbrechendes 1-Bit-Post-Training-Quantisierungsschema, das speziell für vortrainierte LLMs entwickelt wurde. Basierend auf der Gewichtsverteilung von LLMs identifiziert und selektiert BiLLM zunächst strukturell relevante Gewichte und minimiert den Kompressionsverlust durch eine effektive binäre Restapproximationsstrategie. Darüber hinaus schlagen wir unter Berücksichtigung der glockenförmigen Verteilung der nicht relevanten Gewichte eine optimale Teilungssuche vor, um diese präzise zu gruppieren und zu binarisieren. BiLLM erreicht erstmals eine hochgenaue Inferenz (z. B. 8,41 Perplexität bei LLaMA2-70B) mit nur 1,08-Bit-Gewichten über verschiedene LLM-Familien und Bewertungsmetriken hinweg und übertrifft damit die aktuellsten Quantisierungsmethoden für LLMs deutlich. Darüber hinaus ermöglicht BiLLM den Binarisierungsprozess eines LLMs mit 7 Milliarden Gewichten innerhalb von 0,5 Stunden auf einer einzelnen GPU, was eine zufriedenstellende Zeiteffizienz demonstriert.

English

Pretrained large language models (LLMs) exhibit exceptional general language processing capabilities but come with significant demands on memory and computational resources. As a powerful compression technology, binarization can extremely reduce model weights to a mere 1 bit, lowering the expensive computation and memory requirements. However, existing quantization techniques fall short of maintaining LLM performance under ultra-low bit-widths. In response to this challenge, we present BiLLM, a groundbreaking 1-bit post-training quantization scheme tailored for pretrained LLMs. Based on the weight distribution of LLMs, BiLLM first identifies and structurally selects salient weights, and minimizes the compression loss through an effective binary residual approximation strategy. Moreover, considering the bell-shaped distribution of the non-salient weights, we propose an optimal splitting search to group and binarize them accurately. BiLLM achieving for the first time high-accuracy inference (e.g. 8.41 perplexity on LLaMA2-70B) with only 1.08-bit weights across various LLMs families and evaluation metrics, outperforms SOTA quantization methods of LLM by significant margins. Moreover, BiLLM enables the binarization process of the LLM with 7 billion weights within 0.5 hours on a single GPU, demonstrating satisfactory time efficiency.