Смесь масштабов: Память-эффективная токен-адаптивная бинаризация для крупных языковых моделей

Mixture of Scales: Memory-Efficient Token-Adaptive Binarization for Large Language Models

June 18, 2024

Авторы: Dongwon Jo, Taesu Kim, Yulhwa Kim, Jae-Joon Kim

cs.AI

Аннотация

Бинаризация, которая преобразует весовые параметры в двоичные значения, стала эффективной стратегией для уменьшения размера крупных языковых моделей (LLM). Однако типичные техники бинаризации значительно снижают лингвистическую эффективность LLM. Для решения этой проблемы мы представляем новую технику бинаризации под названием Смесь Масштабов (BinaryMoS). В отличие от традиционных методов, BinaryMoS использует несколько экспертов по масштабированию для двоичных весов, динамически объединяя этих экспертов для каждого токена для адаптивной генерации масштабирующих факторов. Этот токен-адаптивный подход повышает представительную мощность бинаризованных LLM, позволяя контекстуальные корректировки значений двоичных весов. Более того, поскольку этот адаптивный процесс затрагивает только масштабирующие факторы, а не весь весовой матрицы, BinaryMoS сохраняет эффективность сжатия, сходную с традиционными статическими методами бинаризации. Наши экспериментальные результаты показывают, что BinaryMoS превосходит традиционные техники бинаризации в различных задачах обработки естественного языка и даже превосходит методы квантования на 2 бита, сохраняя при этом схожий размер модели с методами статической бинаризации.

English

Binarization, which converts weight parameters to binary values, has emerged as an effective strategy to reduce the size of large language models (LLMs). However, typical binarization techniques significantly diminish linguistic effectiveness of LLMs. To address this issue, we introduce a novel binarization technique called Mixture of Scales (BinaryMoS). Unlike conventional methods, BinaryMoS employs multiple scaling experts for binary weights, dynamically merging these experts for each token to adaptively generate scaling factors. This token-adaptive approach boosts the representational power of binarized LLMs by enabling contextual adjustments to the values of binary weights. Moreover, because this adaptive process only involves the scaling factors rather than the entire weight matrix, BinaryMoS maintains compression efficiency similar to traditional static binarization methods. Our experimental results reveal that BinaryMoS surpasses conventional binarization techniques in various natural language processing tasks and even outperforms 2-bit quantization methods, all while maintaining similar model size to static binarization techniques.