RSQ: Apprendere dai token importanti porta a LLM quantizzati migliori

RSQ: Learning from Important Tokens Leads to Better Quantized LLMs

March 3, 2025

Autori: Yi-Lin Sung, Prateek Yadav, Jialu Li, Jaehong Yoon, Mohit Bansal

cs.AI

Abstract

La quantizzazione strato per strato è una tecnica chiave per comprimere in modo efficiente modelli di grandi dimensioni senza costosi processi di riaddestramento. I metodi precedenti tipicamente quantizzano i pesi di ogni strato ottimizzando "uniformemente" la perdita di ricostruzione dello strato su tutti i token di output. Tuttavia, in questo articolo, dimostriamo che è possibile ottenere modelli quantizzati migliori dando priorità all'apprendimento da token importanti (ad esempio, quelli con punteggi di attenzione elevati). Basandoci su questa scoperta, proponiamo RSQ (Ruota, Scala, poi Quantizza), che (1) applica rotazioni (trasformazioni ortogonali) al modello per mitigare gli outlier (quelli con magnitudine eccezionalmente grande), (2) scala le caratteristiche del token in base alla sua importanza, e (3) quantizza il modello utilizzando il framework GPTQ con le statistiche del secondo ordine calcolate dai token scalati. Per calcolare l'importanza dei token, esploriamo sia strategie euristiche che dinamiche. Sulla base di un'analisi approfondita di tutti gli approcci, adottiamo la concentrazione dell'attenzione, che utilizza i punteggi di attenzione di ciascun token come sua importanza, come il miglior approccio. Dimostriamo che RSQ supera costantemente i metodi di base in molteplici task downstream e tre famiglie di modelli: LLaMA3, Mistral e Qwen2.5. Inoltre, i modelli quantizzati con RSQ raggiungono prestazioni superiori nei task a contesto lungo, evidenziando ulteriormente la sua efficacia. Infine, RSQ dimostra generalizzabilità in varie configurazioni, includendo diverse dimensioni dei modelli, dataset di calibrazione, precisioni in bit e metodi di quantizzazione.

English

Layer-wise quantization is a key technique for efficiently compressing large models without expensive retraining. Previous methods typically quantize the weights of each layer by "uniformly" optimizing the layer reconstruction loss across all output tokens. However, in this paper, we demonstrate that better-quantized models can be obtained by prioritizing learning from important tokens (e.g. which have large attention scores). Building on this finding, we propose RSQ (Rotate, Scale, then Quantize), which (1) applies rotations (orthogonal transformation) to the model to mitigate outliers (those with exceptionally large magnitude), (2) scales the token feature based on its importance, and (3) quantizes the model using the GPTQ framework with the second-order statistics computed by scaled tokens. To compute token importance, we explore both heuristic and dynamic strategies. Based on a thorough analysis of all approaches, we adopt attention concentration, which uses attention scores of each token as its importance, as the best approach. We demonstrate that RSQ consistently outperforms baseline methods across multiple downstream tasks and three model families: LLaMA3, Mistral, and Qwen2.5. Additionally, models quantized with RSQ achieve superior performance on long-context tasks, further highlighting its effectiveness. Lastly, RSQ demonstrates generalizability across various setups, including different model sizes, calibration datasets, bit precisions, and quantization methods.