OneBit: Verso Modelli Linguistici di Grande Dimensione a Bit Estremamente Bassi

OneBit: Towards Extremely Low-bit Large Language Models

February 17, 2024

Autori: Yuzhuang Xu, Xu Han, Zonghan Yang, Shuo Wang, Qingfu Zhu, Zhiyuan Liu, Weidong Liu, Wanxiang Che

cs.AI

Abstract

La quantizzazione dei modelli utilizza valori a bassa larghezza di bit per rappresentare le matrici dei pesi dei modelli, un approccio promettente per ridurre sia l'overhead di archiviazione che quello computazionale legato alla distribuzione degli attesissimi LLM. Tuttavia, i metodi di quantizzazione esistenti subiscono un grave degrado delle prestazioni quando la larghezza di bit è estremamente ridotta, e si concentrano quindi sull'utilizzo di valori a 4 bit o 8 bit per quantizzare i modelli. Questo articolo quantizza audacemente le matrici dei pesi degli LLM a 1 bit, aprendo la strada a una distribuzione degli LLM con larghezza di bit estremamente bassa. A tal fine, introduciamo un framework di addestramento con quantizzazione a 1 bit (QAT) chiamato OneBit, che include un innovativo metodo di rappresentazione dei parametri a 1 bit per quantizzare meglio gli LLM, nonché un efficace metodo di inizializzazione dei parametri basato sulla decomposizione matriciale per migliorare la velocità di convergenza del framework QAT. I risultati sperimentali dimostrano che OneBit raggiunge buone prestazioni (almeno l'83% delle prestazioni non quantizzate) con processi di addestramento robusti utilizzando solo matrici di pesi a 1 bit.

English

Model quantification uses low bit-width values to represent the weight matrices of models, which is a promising approach to reduce both storage and computational overheads of deploying highly anticipated LLMs. However, existing quantization methods suffer severe performance degradation when the bit-width is extremely reduced, and thus focus on utilizing 4-bit or 8-bit values to quantize models. This paper boldly quantizes the weight matrices of LLMs to 1-bit, paving the way for the extremely low bit-width deployment of LLMs. For this target, we introduce a 1-bit quantization-aware training (QAT) framework named OneBit, including a novel 1-bit parameter representation method to better quantize LLMs as well as an effective parameter initialization method based on matrix decomposition to improve the convergence speed of the QAT framework. Sufficient experimental results indicate that OneBit achieves good performance (at least 83% of the non-quantized performance) with robust training processes when only using 1-bit weight matrices.