BitNet a4.8: 4-Bit-Aktivierungen für 1-Bit-LLMs

BitNet a4.8: 4-bit Activations for 1-bit LLMs

November 7, 2024

papers.authors: Hongyu Wang, Shuming Ma, Furu Wei

cs.AI

papers.abstract

Aktuelle Forschungen zu 1-Bit Large Language Models (LLMs), wie BitNet b1.58, zeigen eine vielversprechende Richtung zur Reduzierung der Inferenzkosten von LLMs bei gleichzeitiger Beibehaltung ihrer Leistungsfähigkeit. In dieser Arbeit stellen wir BitNet a4.8 vor, das 4-Bit-Aktivierungen für 1-Bit-LLMs ermöglicht. BitNet a4.8 verwendet eine hybride Quantisierungs- und Sparsifizierungsstrategie, um die durch Ausreißerkanäle verursachten Quantisierungsfehler zu minimieren. Konkret nutzen wir 4-Bit-Aktivierungen für die Eingaben in die Aufmerksamkeits- und Feed-Forward-Netzwerkschichten, während Zwischenzustände sparsifiziert und anschließend mit 8-Bit quantisiert werden. Umfangreiche Experimente zeigen, dass BitNet a4.8 eine vergleichbare Leistung wie BitNet b1.58 bei gleichen Trainingskosten erzielt, jedoch durch die Aktivierung von 4-Bit-Kernen (INT4/FP4) eine schnellere Inferenz ermöglicht. Zudem aktiviert BitNet a4.8 nur 55 % der Parameter und unterstützt einen 3-Bit-KV-Cache, was die Effizienz der großflächigen Bereitstellung und Inferenz von LLMs weiter steigert.

English

Recent research on the 1-bit Large Language Models (LLMs), such as BitNet b1.58, presents a promising direction for reducing the inference cost of LLMs while maintaining their performance. In this work, we introduce BitNet a4.8, enabling 4-bit activations for 1-bit LLMs. BitNet a4.8 employs a hybrid quantization and sparsification strategy to mitigate the quantization errors introduced by the outlier channels. Specifically, we utilize 4-bit activations for inputs to the attention and feed-forward network layers, while sparsifying intermediate states followed with 8-bit quantization. Extensive experiments demonstrate that BitNet a4.8 achieves performance comparable to BitNet b1.58 with equivalent training costs, while being faster in inference with enabling 4-bit (INT4/FP4) kernels. Additionally, BitNet a4.8 activates only 55% of parameters and supports 3-bit KV cache, further enhancing the efficiency of large-scale LLM deployment and inference.