KronQ: LLM-kwantisatie via Kronecker-gefactoriseerde Hessiaan

Samenvatting

Natrainkwantisatie (Post-training quantization, PTQ) is een breed toegepaste techniek voor het comprimeren van grote taalmodellen (LLM's) zonder hertraining. Bestaande tweede-orde PTQ-methoden, waaronder GPTQ, construeren kwantisatiedoelstellingen uitsluitend op basis van invoeractiveringsstatistieken, waarbij in wezen wordt aangenomen dat alle uitgangskanalen gelijk bijdragen aan de laagsgewijze reconstructiedoelstelling. Wij stellen KronQ voor, een PTQ-raamwerk dat deze aanname uitdaagt door de gradiëntcovariantie in de kwantisatiepijplijn te introduceren. Onder de Kronecker-gefactoriseerde Hessiaanbenadering hangt het kwantisatieverlies gezamenlijk af van zowel de activerings- als de gradiëntcovarianties, en KronQ benut dit op twee complementaire niveaus. (1) KronQ introduceert bidirectionele incoherentieverwerking, waarbij de bestaande willekeurige rotatie aan de ingangszijde wordt uitgebreid naar de uitgangsdimensie met behulp van de gradiëntcovariantie, waardoor de variantie van gewichtsmagnitudes over zowel invoer- als uitgangsdimensies wordt verminderd. (2) KronQ leidt een nieuwe gevoeligheidsmetriek af voor toewijzing van gemengde precisie tussen lagen, gestuurd door de sporen van de gradiënt- en activeringshessianen. Opmerkelijk is dat in het geval van 2-bit alleen-gewichtenkwantisatie op LLaMA-3-70B, terwijl GPTQ en GPTAQ divergeren of gedegenereerde kwantisaties produceren (>2000 perplexity op WikiText-2), KronQ een perplexity van 7,93 behaalt.

English

Post-training quantization (PTQ) is a widely adopted technique for compressing large language models (LLMs) without retraining. Existing second-order PTQ methods, including GPTQ, construct quantization objectives exclusively from input activation statistics, effectively assuming that all output channels contribute equally to the layer-wise reconstruction objective. We propose KronQ, a PTQ framework that challenges this assumption by introducing the gradient covariance into the quantization pipeline. Under the Kronecker-factored Hessian approximation, the quantization loss depends jointly on both the activation and gradient covariances, and KronQ exploits this at two complementary levels. (1) KronQ introduces bidirectional incoherence processing, extending the existing input-side random rotation to the output dimension using the gradient covariance, reducing weight magnitude variance across both input and output dimensions. (2) KronQ derives a new sensitivity metric for inter-layer mixed-precision allocation, driven by the gradient and activation Hessian traces. Notably, in the case of 2-bit weight-only quantization on LLaMA-3-70B, while GPTQ and GPTAQ diverge or produce degenerate quantizations (>2000 perplexity on WikiText-2), KronQ achieves 7.93 perplexity.