BiLLM: De Grens Verleggen van Post-Training Kwantisatie voor LLM's

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs

February 6, 2024

Auteurs: Wei Huang, Yangdong Liu, Haotong Qin, Ying Li, Shiming Zhang, Xianglong Liu, Michele Magno, Xiaojuan Qi

cs.AI

Samenvatting

Voorgetrainde grote taalmodellen (LLMs) vertonen uitzonderlijke algemene taalverwerkingscapaciteiten, maar stellen aanzienlijke eisen aan geheugen en rekenkracht. Als krachtige compressietechniek kan binarisatie modelgewichten extreem reduceren tot slechts 1 bit, waardoor de dure reken- en geheugenvereisten worden verlaagd. Bestaande kwantiseringsmethoden slagen er echter niet in om de prestaties van LLMs te behouden bij ultra-lage bitbreedtes. Als antwoord op deze uitdaging presenteren we BiLLM, een baanbrekend 1-bit post-trainingskwantiseringsschema speciaal ontworpen voor voorgetrainde LLMs. Op basis van de gewichtsverdeling van LLMs identificeert en selecteert BiLLM eerst structureel belangrijke gewichten en minimaliseert het compressieverlies via een effectieve binaire restbenaderingsstrategie. Bovendien stellen we, gezien de klokvormige verdeling van de niet-belangrijke gewichten, een optimale splitsingszoekmethode voor om deze nauwkeurig te groeperen en te binariseren. BiLLM bereikt voor het eerst hoogwaardige inferentie (bijv. 8,41 perplexiteit op LLaMA2-70B) met slechts 1,08-bit gewichten over verschillende LLM-families en evaluatiemetrics, en overtreft state-of-the-art kwantiseringsmethoden voor LLMs aanzienlijk. Bovendien maakt BiLLM het binarisatieproces van een LLM met 7 miljard gewichten mogelijk binnen 0,5 uur op een enkele GPU, wat een bevredigende tijdefficiëntie aantoont.

English

Pretrained large language models (LLMs) exhibit exceptional general language processing capabilities but come with significant demands on memory and computational resources. As a powerful compression technology, binarization can extremely reduce model weights to a mere 1 bit, lowering the expensive computation and memory requirements. However, existing quantization techniques fall short of maintaining LLM performance under ultra-low bit-widths. In response to this challenge, we present BiLLM, a groundbreaking 1-bit post-training quantization scheme tailored for pretrained LLMs. Based on the weight distribution of LLMs, BiLLM first identifies and structurally selects salient weights, and minimizes the compression loss through an effective binary residual approximation strategy. Moreover, considering the bell-shaped distribution of the non-salient weights, we propose an optimal splitting search to group and binarize them accurately. BiLLM achieving for the first time high-accuracy inference (e.g. 8.41 perplexity on LLaMA2-70B) with only 1.08-bit weights across various LLMs families and evaluation metrics, outperforms SOTA quantization methods of LLM by significant margins. Moreover, BiLLM enables the binarization process of the LLM with 7 billion weights within 0.5 hours on a single GPU, demonstrating satisfactory time efficiency.