OneBit: Rumo a Modelos de Linguagem de Grande Escala com Bits Extremamente Baixos

OneBit: Towards Extremely Low-bit Large Language Models

February 17, 2024

Autores: Yuzhuang Xu, Xu Han, Zonghan Yang, Shuo Wang, Qingfu Zhu, Zhiyuan Liu, Weidong Liu, Wanxiang Che

cs.AI

Resumo

A quantização de modelos utiliza valores de baixa largura de bits para representar as matrizes de pesos dos modelos, sendo uma abordagem promissora para reduzir tanto o armazenamento quanto os custos computacionais associados à implantação de LLMs altamente esperados. No entanto, os métodos de quantização existentes sofrem uma degradação severa de desempenho quando a largura de bits é extremamente reduzida e, portanto, concentram-se na utilização de valores de 4 ou 8 bits para quantizar os modelos. Este artigo ousadamente quantiza as matrizes de pesos de LLMs para 1 bit, abrindo caminho para a implantação de LLMs com largura de bits extremamente baixa. Para esse objetivo, introduzimos um framework de treinamento consciente de quantização (QAT) de 1 bit chamado OneBit, incluindo um novo método de representação de parâmetros de 1 bit para quantizar melhor os LLMs, bem como um método eficaz de inicialização de parâmetros baseado em decomposição de matrizes para melhorar a velocidade de convergência do framework QAT. Resultados experimentais suficientes indicam que o OneBit alcança um bom desempenho (pelo menos 83% do desempenho não quantizado) com processos de treinamento robustos ao utilizar apenas matrizes de pesos de 1 bit.

English

Model quantification uses low bit-width values to represent the weight matrices of models, which is a promising approach to reduce both storage and computational overheads of deploying highly anticipated LLMs. However, existing quantization methods suffer severe performance degradation when the bit-width is extremely reduced, and thus focus on utilizing 4-bit or 8-bit values to quantize models. This paper boldly quantizes the weight matrices of LLMs to 1-bit, paving the way for the extremely low bit-width deployment of LLMs. For this target, we introduce a 1-bit quantization-aware training (QAT) framework named OneBit, including a novel 1-bit parameter representation method to better quantize LLMs as well as an effective parameter initialization method based on matrix decomposition to improve the convergence speed of the QAT framework. Sufficient experimental results indicate that OneBit achieves good performance (at least 83% of the non-quantized performance) with robust training processes when only using 1-bit weight matrices.