OneBit: В направлении сверхнизкобитных крупных языковых моделей

OneBit: Towards Extremely Low-bit Large Language Models

February 17, 2024

Авторы: Yuzhuang Xu, Xu Han, Zonghan Yang, Shuo Wang, Qingfu Zhu, Zhiyuan Liu, Weidong Liu, Wanxiang Che

cs.AI

Аннотация

Квантование моделей использует значения с низкой разрядностью для представления весовых матриц моделей, что является перспективным подходом для снижения как затрат на хранение, так и вычислительных затрат при развертывании высоко ожидаемых больших языковых моделей (LLM). Однако существующие методы квантования страдают от значительного ухудшения производительности при крайнем снижении разрядности и поэтому сосредоточены на использовании 4-битных или 8-битных значений для квантования моделей. В данной статье смело квантуются весовые матрицы LLM до 1 бита, прокладывая путь для развертывания LLM с крайне низкой разрядностью. Для достижения этой цели мы представляем 1-битную структуру квантования с учетом обучения (QAT) под названием OneBit, включающую новый метод представления 1-битных параметров для более эффективного квантования LLM, а также эффективный метод инициализации параметров на основе матричного разложения для улучшения скорости сходимости структуры QAT. Многочисленные экспериментальные результаты показывают, что OneBit демонстрирует хорошую производительность (не менее 83% от неквантованной производительности) с устойчивыми процессами обучения при использовании только 1-битных весовых матриц.

English

Model quantification uses low bit-width values to represent the weight matrices of models, which is a promising approach to reduce both storage and computational overheads of deploying highly anticipated LLMs. However, existing quantization methods suffer severe performance degradation when the bit-width is extremely reduced, and thus focus on utilizing 4-bit or 8-bit values to quantize models. This paper boldly quantizes the weight matrices of LLMs to 1-bit, paving the way for the extremely low bit-width deployment of LLMs. For this target, we introduce a 1-bit quantization-aware training (QAT) framework named OneBit, including a novel 1-bit parameter representation method to better quantize LLMs as well as an effective parameter initialization method based on matrix decomposition to improve the convergence speed of the QAT framework. Sufficient experimental results indicate that OneBit achieves good performance (at least 83% of the non-quantized performance) with robust training processes when only using 1-bit weight matrices.