OneBit: Op weg naar extreem laag-bit grote taalmodellen

OneBit: Towards Extremely Low-bit Large Language Models

February 17, 2024

Auteurs: Yuzhuang Xu, Xu Han, Zonghan Yang, Shuo Wang, Qingfu Zhu, Zhiyuan Liu, Weidong Liu, Wanxiang Che

cs.AI

Samenvatting

Modelkwantisering gebruikt waarden met een lage bitbreedte om de gewichtsmatrices van modellen weer te geven, wat een veelbelovende aanpak is om zowel de opslag- als de rekenkosten te verminderen bij het implementeren van zeer gewilde LLM's (Large Language Models). Bestaande kwantisatiemethoden lijden echter onder ernstige prestatievermindering wanneer de bitbreedte extreem wordt verlaagd, en richten zich daarom op het gebruik van 4-bit of 8-bit waarden om modellen te kwantiseren. Dit artikel kwantiseert de gewichtsmatrices van LLM's gedurfd tot 1-bit, wat de weg vrijmaakt voor de implementatie van LLM's met een extreem lage bitbreedte. Hiervoor introduceren we een 1-bit kwantisatiebewuste trainingsframework (QAT) genaamd OneBit, inclusief een nieuwe methode voor 1-bit parameterrepresentatie om LLM's beter te kwantiseren, evenals een effectieve parameterinitialisatiemethode gebaseerd op matrixdecompositie om de convergentiesnelheid van het QAT-framework te verbeteren. Uitgebreide experimentele resultaten tonen aan dat OneBit goede prestaties levert (minstens 83% van de niet-gekwantiseerde prestaties) met robuuste trainingsprocessen wanneer alleen 1-bit gewichtsmatrices worden gebruikt.

English

Model quantification uses low bit-width values to represent the weight matrices of models, which is a promising approach to reduce both storage and computational overheads of deploying highly anticipated LLMs. However, existing quantization methods suffer severe performance degradation when the bit-width is extremely reduced, and thus focus on utilizing 4-bit or 8-bit values to quantize models. This paper boldly quantizes the weight matrices of LLMs to 1-bit, paving the way for the extremely low bit-width deployment of LLMs. For this target, we introduce a 1-bit quantization-aware training (QAT) framework named OneBit, including a novel 1-bit parameter representation method to better quantize LLMs as well as an effective parameter initialization method based on matrix decomposition to improve the convergence speed of the QAT framework. Sufficient experimental results indicate that OneBit achieves good performance (at least 83% of the non-quantized performance) with robust training processes when only using 1-bit weight matrices.