OneBit: 極低ビット大規模言語モデルへのアプローチ

OneBit: Towards Extremely Low-bit Large Language Models

February 17, 2024

著者: Yuzhuang Xu, Xu Han, Zonghan Yang, Shuo Wang, Qingfu Zhu, Zhiyuan Liu, Weidong Liu, Wanxiang Che

cs.AI

要旨

モデル量子化は、低ビット幅の値を使用してモデルの重み行列を表現する手法であり、期待の高い大規模言語モデル（LLM）の展開におけるストレージと計算のオーバーヘッドを削減する有望なアプローチです。しかし、既存の量子化手法では、ビット幅が極端に低くなると性能が大幅に低下するため、4ビットや8ビットの値を使用してモデルを量子化することに焦点が当てられています。本論文では、LLMの重み行列を大胆に1ビットに量子化し、極めて低ビット幅でのLLM展開の道を切り開きます。この目標に向けて、1ビット量子化対応トレーニング（QAT）フレームワーク「OneBit」を提案します。これには、LLMをより効果的に量子化するための新しい1ビットパラメータ表現手法と、QATフレームワークの収束速度を向上させるための行列分解に基づく効果的なパラメータ初期化手法が含まれます。十分な実験結果から、OneBitは1ビットの重み行列のみを使用しても、堅牢なトレーニングプロセスを維持しつつ、非量子化性能の少なくとも83%を達成することが示されています。

English

Model quantification uses low bit-width values to represent the weight matrices of models, which is a promising approach to reduce both storage and computational overheads of deploying highly anticipated LLMs. However, existing quantization methods suffer severe performance degradation when the bit-width is extremely reduced, and thus focus on utilizing 4-bit or 8-bit values to quantize models. This paper boldly quantizes the weight matrices of LLMs to 1-bit, paving the way for the extremely low bit-width deployment of LLMs. For this target, we introduce a 1-bit quantization-aware training (QAT) framework named OneBit, including a novel 1-bit parameter representation method to better quantize LLMs as well as an effective parameter initialization method based on matrix decomposition to improve the convergence speed of the QAT framework. Sufficient experimental results indicate that OneBit achieves good performance (at least 83% of the non-quantized performance) with robust training processes when only using 1-bit weight matrices.