Mistura de Escalas: Binarização Token-Adaptativa Eficiente em Memória para Modelos de Linguagem de Grande Porte

Mixture of Scales: Memory-Efficient Token-Adaptive Binarization for Large Language Models

June 18, 2024

Autores: Dongwon Jo, Taesu Kim, Yulhwa Kim, Jae-Joon Kim

cs.AI

Resumo

A binarização, que converte parâmetros de peso em valores binários, surgiu como uma estratégia eficaz para reduzir o tamanho de grandes modelos de linguagem (LLMs). No entanto, técnicas típicas de binarização diminuem significativamente a eficácia linguística dos LLMs. Para resolver esse problema, introduzimos uma nova técnica de binarização chamada Mixture of Scales (BinaryMoS). Diferente dos métodos convencionais, o BinaryMoS emprega múltiplos especialistas em escalonamento para pesos binários, combinando dinamicamente esses especialistas para cada token a fim de gerar fatores de escalonamento de forma adaptativa. Essa abordagem adaptativa por token aumenta o poder de representação dos LLMs binarizados, permitindo ajustes contextuais nos valores dos pesos binários. Além disso, como esse processo adaptativo envolve apenas os fatores de escalonamento e não toda a matriz de pesos, o BinaryMoS mantém uma eficiência de compressão semelhante aos métodos tradicionais de binarização estática. Nossos resultados experimentais mostram que o BinaryMoS supera as técnicas convencionais de binarização em várias tarefas de processamento de linguagem natural e até mesmo supera métodos de quantização de 2 bits, tudo isso mantendo um tamanho de modelo semelhante às técnicas de binarização estática.

English

Binarization, which converts weight parameters to binary values, has emerged as an effective strategy to reduce the size of large language models (LLMs). However, typical binarization techniques significantly diminish linguistic effectiveness of LLMs. To address this issue, we introduce a novel binarization technique called Mixture of Scales (BinaryMoS). Unlike conventional methods, BinaryMoS employs multiple scaling experts for binary weights, dynamically merging these experts for each token to adaptively generate scaling factors. This token-adaptive approach boosts the representational power of binarized LLMs by enabling contextual adjustments to the values of binary weights. Moreover, because this adaptive process only involves the scaling factors rather than the entire weight matrix, BinaryMoS maintains compression efficiency similar to traditional static binarization methods. Our experimental results reveal that BinaryMoS surpasses conventional binarization techniques in various natural language processing tasks and even outperforms 2-bit quantization methods, all while maintaining similar model size to static binarization techniques.