スケールの混合：大規模言語モデルのためのメモリ効率の高いトークン適応型二値化

Mixture of Scales: Memory-Efficient Token-Adaptive Binarization for Large Language Models

June 18, 2024

著者: Dongwon Jo, Taesu Kim, Yulhwa Kim, Jae-Joon Kim

cs.AI

要旨

重みパラメータをバイナリ値に変換する二値化は、大規模言語モデル（LLM）のサイズを削減するための効果的な戦略として注目を集めています。しかし、従来の二値化手法では、LLMの言語的効果が大幅に低下するという課題があります。この問題を解決するため、本研究では「Mixture of Scales（BinaryMoS）」と呼ばれる新しい二値化手法を提案します。従来の手法とは異なり、BinaryMoSはバイナリ重みに対して複数のスケーリングエキスパートを採用し、各トークンごとにこれらのエキスパートを動的に統合することで、適応的にスケーリングファクターを生成します。このトークン適応型アプローチにより、バイナリ重みの値を文脈に応じて調整できるため、二値化されたLLMの表現力が向上します。さらに、この適応プロセスは重み行列全体ではなくスケーリングファクターのみに関わるため、BinaryMoSは従来の静的二値化手法と同程度の圧縮効率を維持します。実験結果から、BinaryMoSは様々な自然言語処理タスクにおいて従来の二値化手法を上回り、2ビット量子化手法をも凌駕する性能を示すことが明らかになりました。しかも、モデルサイズは静的二値化手法と同等に保たれています。

English

Binarization, which converts weight parameters to binary values, has emerged as an effective strategy to reduce the size of large language models (LLMs). However, typical binarization techniques significantly diminish linguistic effectiveness of LLMs. To address this issue, we introduce a novel binarization technique called Mixture of Scales (BinaryMoS). Unlike conventional methods, BinaryMoS employs multiple scaling experts for binary weights, dynamically merging these experts for each token to adaptively generate scaling factors. This token-adaptive approach boosts the representational power of binarized LLMs by enabling contextual adjustments to the values of binary weights. Moreover, because this adaptive process only involves the scaling factors rather than the entire weight matrix, BinaryMoS maintains compression efficiency similar to traditional static binarization methods. Our experimental results reveal that BinaryMoS surpasses conventional binarization techniques in various natural language processing tasks and even outperforms 2-bit quantization methods, all while maintaining similar model size to static binarization techniques.