KronQ: クロネッカー因子分解ヘッシアンを用いたLLM量子化

要旨

学習後量子化（PTQ）は、再学習を必要とせずに大規模言語モデル（LLM）を圧縮するために広く採用されている手法である。GPTQを含む既存の二次のPTQ手法は、量子化目的関数を入力活性化統計量のみから構築しており、事実上すべての出力チャネルが層単位の再構成目的関数に等しく寄与することを仮定している。本稿では、この仮定に疑問を呈し、勾配共分散を量子化パイプラインに導入するPTQフレームワークであるKronQを提案する。クロネッカー分解ヘッセ行列近似の下では、量子化損失は活性化共分散と勾配共分散の両方に共同で依存し、KronQはこれを二つの相補的なレベルで活用する。(1) KronQは双方向インコヒーレンス処理を導入し、既存の入力側ランダム回転を勾配共分散を用いて出力次元に拡張し、入出力両方の次元にわたる重みの大きさの分散を低減する。(2) KronQは、勾配と活性化のヘッセ行列トレースに基づく、層間混合精度割り当てのための新しい感度指標を導出する。特に、LLaMA-3-70Bにおける2ビット重みのみ量子化の場合、GPTQやGPTAQが発散または劣化量子化（WikiText-2上で2000を超えるパープレキシティ）を生じるのに対し、KronQは7.93のパープレキシティを達成する。

English

Post-training quantization (PTQ) is a widely adopted technique for compressing large language models (LLMs) without retraining. Existing second-order PTQ methods, including GPTQ, construct quantization objectives exclusively from input activation statistics, effectively assuming that all output channels contribute equally to the layer-wise reconstruction objective. We propose KronQ, a PTQ framework that challenges this assumption by introducing the gradient covariance into the quantization pipeline. Under the Kronecker-factored Hessian approximation, the quantization loss depends jointly on both the activation and gradient covariances, and KronQ exploits this at two complementary levels. (1) KronQ introduces bidirectional incoherence processing, extending the existing input-side random rotation to the output dimension using the gradient covariance, reducing weight magnitude variance across both input and output dimensions. (2) KronQ derives a new sensitivity metric for inter-layer mixed-precision allocation, driven by the gradient and activation Hessian traces. Notably, in the case of 2-bit weight-only quantization on LLaMA-3-70B, while GPTQ and GPTAQ diverge or produce degenerate quantizations (>2000 perplexity on WikiText-2), KronQ achieves 7.93 perplexity.