RSQ: Lernen von wichtigen Tokens führt zu besser quantisierten LLMs

RSQ: Learning from Important Tokens Leads to Better Quantized LLMs

March 3, 2025

Autoren: Yi-Lin Sung, Prateek Yadav, Jialu Li, Jaehong Yoon, Mohit Bansal

cs.AI

Zusammenfassung

Schichtweise Quantisierung ist eine Schlüsseltechnik zur effizienten Kompression großer Modelle ohne aufwendiges Neutraining. Bisherige Methoden quantisieren typischerweise die Gewichte jeder Schicht, indem sie den Rekonstruktionsverlust der Schicht „gleichmäßig“ über alle Ausgabe-Tokens optimieren. In diesem Artikel zeigen wir jedoch, dass besser quantisierte Modelle erzielt werden können, indem das Lernen von wichtigen Tokens (z. B. solchen mit hohen Aufmerksamkeitswerten) priorisiert wird. Aufbauend auf dieser Erkenntnis schlagen wir RSQ (Rotate, Scale, then Quantize) vor, das (1) Rotationen (orthogonale Transformationen) auf das Modell anwendet, um Ausreißer (d. h. Werte mit außergewöhnlich großer Magnitude) zu reduzieren, (2) die Token-Features basierend auf ihrer Wichtigkeit skaliert und (3) das Modell mithilfe des GPTQ-Frameworks mit den durch skalierte Tokens berechneten Statistiken zweiter Ordnung quantisiert. Um die Wichtigkeit der Tokens zu bestimmen, untersuchen wir sowohl heuristische als auch dynamische Strategien. Basierend auf einer umfassenden Analyse aller Ansätze verwenden wir die Aufmerksamkeitskonzentration, die die Aufmerksamkeitswerte jedes Tokens als dessen Wichtigkeit nutzt, als den besten Ansatz. Wir zeigen, dass RSQ Baseline-Methoden in mehreren Downstream-Aufgaben und drei Modellfamilien – LLaMA3, Mistral und Qwen2.5 – durchweg übertrifft. Darüber hinaus erzielen mit RSQ quantisierte Modelle eine überlegene Leistung bei Aufgaben mit langem Kontext, was ihre Effektivität weiter unterstreicht. Schließlich zeigt RSQ Generalisierbarkeit über verschiedene Konfigurationen hinweg, einschließlich unterschiedlicher Modellgrößen, Kalibrierungsdatensätze, Bit-Präzisionen und Quantisierungsmethoden.

English

Layer-wise quantization is a key technique for efficiently compressing large models without expensive retraining. Previous methods typically quantize the weights of each layer by "uniformly" optimizing the layer reconstruction loss across all output tokens. However, in this paper, we demonstrate that better-quantized models can be obtained by prioritizing learning from important tokens (e.g. which have large attention scores). Building on this finding, we propose RSQ (Rotate, Scale, then Quantize), which (1) applies rotations (orthogonal transformation) to the model to mitigate outliers (those with exceptionally large magnitude), (2) scales the token feature based on its importance, and (3) quantizes the model using the GPTQ framework with the second-order statistics computed by scaled tokens. To compute token importance, we explore both heuristic and dynamic strategies. Based on a thorough analysis of all approaches, we adopt attention concentration, which uses attention scores of each token as its importance, as the best approach. We demonstrate that RSQ consistently outperforms baseline methods across multiple downstream tasks and three model families: LLaMA3, Mistral, and Qwen2.5. Additionally, models quantized with RSQ achieve superior performance on long-context tasks, further highlighting its effectiveness. Lastly, RSQ demonstrates generalizability across various setups, including different model sizes, calibration datasets, bit precisions, and quantization methods.