KronQ: 크로네커 분해 헤시안을 통한 LLM 양자화

초록

사후 훈련 양자화(PTQ)는 재훈련 없이 대규모 언어 모델(LLM)을 압축하는 데 널리 채택된 기법이다. GPTQ를 포함한 기존의 2차 PTQ 방법들은 오직 입력 활성화 통계량으로부터만 양자화 목적 함수를 구성하며, 이는 모든 출력 채널이 계층별 재구성 목적에 동등하게 기여한다고 사실상 가정한다. 우리는 이러한 가정에 도전하여 그래디언트 공분산을 양자화 파이프라인에 도입하는 PTQ 프레임워크인 KronQ를 제안한다. 크로네커 분해 헤시안 근사 하에서 양자화 손실은 활성화 공분산과 그래디언트 공분산 모두에 공동으로 의존하며, KronQ는 이를 두 가지 상호 보완적 수준에서 활용한다. (1) KronQ는 양방향 비일관성 처리를 도입하여, 기존의 입력 측 무작위 회전을 그래디언트 공분산을 사용하여 출력 차원으로 확장함으로써 입력 및 출력 차원 모두에서 가중치 크기 분산을 줄인다. (2) KronQ는 그래디언트 및 활성화 헤시안 트레이스에 기반한 계층 간 혼합 정밀도 할당을 위한 새로운 민감도 측정치를 도출한다. 특히 LLaMA-3-70B에 대한 2비트 가중치 전용 양자화의 경우, GPTQ와 GPTAQ가 발산하거나 비정상적인 양자화를 생성하는 반면(WikiText-2에서 2000 이상의 혼란도), KronQ는 7.93의 혼란도를 달성한다.

English

Post-training quantization (PTQ) is a widely adopted technique for compressing large language models (LLMs) without retraining. Existing second-order PTQ methods, including GPTQ, construct quantization objectives exclusively from input activation statistics, effectively assuming that all output channels contribute equally to the layer-wise reconstruction objective. We propose KronQ, a PTQ framework that challenges this assumption by introducing the gradient covariance into the quantization pipeline. Under the Kronecker-factored Hessian approximation, the quantization loss depends jointly on both the activation and gradient covariances, and KronQ exploits this at two complementary levels. (1) KronQ introduces bidirectional incoherence processing, extending the existing input-side random rotation to the output dimension using the gradient covariance, reducing weight magnitude variance across both input and output dimensions. (2) KronQ derives a new sensitivity metric for inter-layer mixed-precision allocation, driven by the gradient and activation Hessian traces. Notably, in the case of 2-bit weight-only quantization on LLaMA-3-70B, while GPTQ and GPTAQ diverge or produce degenerate quantizations (>2000 perplexity on WikiText-2), KronQ achieves 7.93 perplexity.