KronQ: LLM-Quantisierung mittels Kronecker-faktorisierter Hesse-Matrix

Zusammenfassung

Nach-Trainings-Quantisierung (PTQ) ist eine weit verbreitete Technik zur Komprimierung großer Sprachmodelle (LLMs) ohne erneutes Training. Bestehende PTQ-Methoden zweiter Ordnung, einschließlich GPTQ, konstruieren Quantisierungsziele ausschließlich aus den Statistiken der Eingabeaktivierungen und gehen dabei effektiv davon aus, dass alle Ausgabekanäle gleichermaßen zum schichtweisen Rekonstruktionsziel beitragen. Wir schlagen KronQ vor, ein PTQ-Framework, das diese Annahme infrage stellt, indem es die Gradientenkovarianz in die Quantisierungspipeline einführt. Unter der Kronecker-faktorisierten Hesse-Approximation hängt der Quantisierungsverlust sowohl von der Aktivierungs- als auch von der Gradientenkovarianz ab, und KronQ nutzt dies auf zwei komplementären Ebenen aus: (1) KronQ führt eine bidirektionale Inkohärenzverarbeitung ein, die die bestehende eingabeseitige Zufallsrotation auf die Ausgabedimension unter Verwendung der Gradientenkovarianz ausweitet und so die Varianz der Gewichtsbeträge sowohl über die Eingabe- als auch die Ausgabedimension verringert. (2) KronQ leitet eine neue Empfindlichkeitsmetrik für die schichtübergreifende Zuweisung gemischter Präzision ab, die von den Spuren der Gradienten- und Aktivierungs-Hesse-Matrix angetrieben wird. Bemerkenswerterweise erreicht KronQ bei der 2-Bit-Gewichtsquantisierung von LLaMA-3-70B eine Perplexität von 7,93 auf WikiText-2, während GPTQ und GPTAQ divergieren oder degenerierte Quantisierungen erzeugen (Perplexität >2000).

English

Post-training quantization (PTQ) is a widely adopted technique for compressing large language models (LLMs) without retraining. Existing second-order PTQ methods, including GPTQ, construct quantization objectives exclusively from input activation statistics, effectively assuming that all output channels contribute equally to the layer-wise reconstruction objective. We propose KronQ, a PTQ framework that challenges this assumption by introducing the gradient covariance into the quantization pipeline. Under the Kronecker-factored Hessian approximation, the quantization loss depends jointly on both the activation and gradient covariances, and KronQ exploits this at two complementary levels. (1) KronQ introduces bidirectional incoherence processing, extending the existing input-side random rotation to the output dimension using the gradient covariance, reducing weight magnitude variance across both input and output dimensions. (2) KronQ derives a new sensitivity metric for inter-layer mixed-precision allocation, driven by the gradient and activation Hessian traces. Notably, in the case of 2-bit weight-only quantization on LLaMA-3-70B, while GPTQ and GPTAQ diverge or produce degenerate quantizations (>2000 perplexity on WikiText-2), KronQ achieves 7.93 perplexity.