BiLLM: Расширение границ посттренировочного квантования для крупных языковых моделей

BiLLM: Pushing the Limit of Post-Training Quantization for LLMs

February 6, 2024

Авторы: Wei Huang, Yangdong Liu, Haotong Qin, Ying Li, Shiming Zhang, Xianglong Liu, Michele Magno, Xiaojuan Qi

cs.AI

Аннотация

Предобученные большие языковые модели (LLM) демонстрируют выдающиеся способности в обработке общего языка, но требуют значительных затрат памяти и вычислительных ресурсов. Как мощная технология сжатия, бинаризация позволяет сократить веса модели до всего 1 бита, значительно снижая затраты на вычисления и требования к памяти. Однако существующие методы квантования не способны сохранить производительность LLM при сверхнизкой битовой ширине. В ответ на этот вызов мы представляем BiLLM — инновационную схему посттренировочного квантования на 1 бит, специально разработанную для предобученных LLM. Основываясь на распределении весов LLM, BiLLM сначала идентифицирует и структурно выделяет значимые веса, а затем минимизирует потери при сжатии с помощью эффективной стратегии бинарной аппроксимации остатков. Кроме того, учитывая колоколообразное распределение незначимых весов, мы предлагаем оптимальный поиск разделения для их точной группировки и бинаризации. BiLLM впервые достигает высокоточного вывода (например, 8.41 perplexity на LLaMA2-70B) с весами всего 1.08 бита для различных семейств LLM и метрик оценки, значительно превосходя современные методы квантования LLM. Более того, BiLLM позволяет выполнить процесс бинаризации LLM с 7 миллиардами весов менее чем за 0.5 часа на одном GPU, демонстрируя удовлетворительную временную эффективность.

English

Pretrained large language models (LLMs) exhibit exceptional general language processing capabilities but come with significant demands on memory and computational resources. As a powerful compression technology, binarization can extremely reduce model weights to a mere 1 bit, lowering the expensive computation and memory requirements. However, existing quantization techniques fall short of maintaining LLM performance under ultra-low bit-widths. In response to this challenge, we present BiLLM, a groundbreaking 1-bit post-training quantization scheme tailored for pretrained LLMs. Based on the weight distribution of LLMs, BiLLM first identifies and structurally selects salient weights, and minimizes the compression loss through an effective binary residual approximation strategy. Moreover, considering the bell-shaped distribution of the non-salient weights, we propose an optimal splitting search to group and binarize them accurately. BiLLM achieving for the first time high-accuracy inference (e.g. 8.41 perplexity on LLaMA2-70B) with only 1.08-bit weights across various LLMs families and evaluation metrics, outperforms SOTA quantization methods of LLM by significant margins. Moreover, BiLLM enables the binarization process of the LLM with 7 billion weights within 0.5 hours on a single GPU, demonstrating satisfactory time efficiency.