BitNet a4.8: 4-bits activaties voor 1-bit LLM's

BitNet a4.8: 4-bit Activations for 1-bit LLMs

November 7, 2024

Auteurs: Hongyu Wang, Shuming Ma, Furu Wei

cs.AI

Samenvatting

Recent onderzoek naar 1-bit Large Language Models (LLM's), zoals BitNet b1.58, toont een veelbelovende richting voor het verlagen van de inferentiekosten van LLM's terwijl de prestaties behouden blijven. In dit werk introduceren we BitNet a4.8, waarmee 4-bit activaties voor 1-bit LLM's mogelijk worden. BitNet a4.8 gebruikt een hybride strategie van kwantisatie en sparsificatie om de kwantisatiefouten veroorzaakt door uitbijterkanalen te verminderen. Concreet passen we 4-bit activaties toe voor de inputs naar de attention- en feed-forward netwerklagen, terwijl we tussenliggende toestanden sparsificeren gevolgd door 8-bit kwantisatie. Uitgebreide experimenten tonen aan dat BitNet a4.8 prestaties bereikt die vergelijkbaar zijn met BitNet b1.58 bij gelijke trainingskosten, terwijl het sneller is in inferentie door het gebruik van 4-bit (INT4/FP4) kernels. Daarnaast activeert BitNet a4.8 slechts 55% van de parameters en ondersteunt het een 3-bit KV-cache, wat de efficiëntie van grootschalige LLM-implementatie en inferentie verder verbetert.

English

Recent research on the 1-bit Large Language Models (LLMs), such as BitNet b1.58, presents a promising direction for reducing the inference cost of LLMs while maintaining their performance. In this work, we introduce BitNet a4.8, enabling 4-bit activations for 1-bit LLMs. BitNet a4.8 employs a hybrid quantization and sparsification strategy to mitigate the quantization errors introduced by the outlier channels. Specifically, we utilize 4-bit activations for inputs to the attention and feed-forward network layers, while sparsifying intermediate states followed with 8-bit quantization. Extensive experiments demonstrate that BitNet a4.8 achieves performance comparable to BitNet b1.58 with equivalent training costs, while being faster in inference with enabling 4-bit (INT4/FP4) kernels. Additionally, BitNet a4.8 activates only 55% of parameters and supports 3-bit KV cache, further enhancing the efficiency of large-scale LLM deployment and inference.