Mezcla de Escalas: Binarización Adaptativa a Tokens Eficiente en Memoria para Modelos de Lenguaje a Gran Escala

Mixture of Scales: Memory-Efficient Token-Adaptive Binarization for Large Language Models

June 18, 2024

Autores: Dongwon Jo, Taesu Kim, Yulhwa Kim, Jae-Joon Kim

cs.AI

Resumen

La binarización, que convierte los parámetros de peso en valores binarios, ha surgido como una estrategia efectiva para reducir el tamaño de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés). Sin embargo, las técnicas de binarización típicas disminuyen significativamente la eficacia lingüística de los LLMs. Para abordar este problema, presentamos una novedosa técnica de binarización llamada Mezcla de Escalas (BinaryMoS). A diferencia de los métodos convencionales, BinaryMoS emplea múltiples expertos de escalado para los pesos binarios, fusionando dinámicamente estos expertos para cada token con el fin de generar factores de escalado de manera adaptativa. Este enfoque adaptativo por token potencia la capacidad representativa de los LLMs binarizados al permitir ajustes contextuales en los valores de los pesos binarios. Además, dado que este proceso adaptativo solo involucra los factores de escalado y no toda la matriz de pesos, BinaryMoS mantiene una eficiencia de compresión similar a los métodos de binarización estática tradicionales. Nuestros resultados experimentales muestran que BinaryMoS supera a las técnicas de binarización convencionales en diversas tareas de procesamiento de lenguaje natural e incluso supera a los métodos de cuantización de 2 bits, todo ello manteniendo un tamaño de modelo similar al de las técnicas de binarización estática.

English

Binarization, which converts weight parameters to binary values, has emerged as an effective strategy to reduce the size of large language models (LLMs). However, typical binarization techniques significantly diminish linguistic effectiveness of LLMs. To address this issue, we introduce a novel binarization technique called Mixture of Scales (BinaryMoS). Unlike conventional methods, BinaryMoS employs multiple scaling experts for binary weights, dynamically merging these experts for each token to adaptively generate scaling factors. This token-adaptive approach boosts the representational power of binarized LLMs by enabling contextual adjustments to the values of binary weights. Moreover, because this adaptive process only involves the scaling factors rather than the entire weight matrix, BinaryMoS maintains compression efficiency similar to traditional static binarization methods. Our experimental results reveal that BinaryMoS surpasses conventional binarization techniques in various natural language processing tasks and even outperforms 2-bit quantization methods, all while maintaining similar model size to static binarization techniques.