ARCHead: 대규모 언어 모델 출력 헤드를 위한 활성화 메트릭 잔차 보정

초록

가중치 전용 양자화는 대규모 언어 모델(LLM) 트랜스포머 블록의 저장 공간을 상당히 줄여 주지만, 실용적인 백엔드에서는 최종 언어 모델링 헤드(LM-헤드)를 종종 BF16 또는 FP16으로 유지한다. 이 투영을 단순하게 양자화하면 어휘-로짓 분포가 크게 교란될 수 있다. 우리는 양자화된 저랭크 코어, 그룹별 INT4 잔차, 그리고 활성화 기반 메트릭으로 적합된 저랭크 보정을 결합한 패킹(packed) LM-헤드 압축기 ARCHead를 제시한다. ARCHead는 밀집(dense) BF16 헤드를 저장하지 않으며, 영구 LM-헤드 저장 공간을 3.7~3.9배 줄인다. Qwen3-8B-Base에서 ARCHead는 BF16 헤드 저장 공간의 25.6%만 사용하면서 상대 퍼플렉서티 1.007을 달성한다. 저장 공간이 동일한 단순 INT4는 1.14~1.16을 나타낸다. AWQ나 bitsandbytes가 양자화하지 않고 남겨둔 BF16 헤드를 교체하면 크로스 엔트로피가 0.006~0.007만 증가하며, 측정 결과 처리량 변화는 2% 미만이다. 따라서 ARCHead는 블록 양자화기가 그대로 둘 수 있는 큰 출력 투영(output projection)을 압축함으로써 블록 양자화기를 보완한다. 코드는 https://github.com/suayptalha/archead에서 확인할 수 있다.

English

Weight-only quantization substantially reduces the storage of large language model (LLM) transformer blocks, but practical backends often retain the final language-modeling head (LM-head) in BF16 or FP16. Quantizing this projection naively can strongly perturb the vocabulary-logit distribution. We present ARCHead, a packed LM-head compressor that combines a quantized low-rank core, group-wise INT4 residuals, and a low-rank correction fitted in an activation-derived metric. ARCHead stores no dense BF16 head and reduces persistent LM-head storage by 3.7-3.9x. On Qwen3-8B-Base, it uses 25.6% of BF16 head storage while attaining 1.007 relative perplexity; storage-matched naive INT4 yields 1.14-1.16. Replacing the BF16 head left by AWQ or bitsandbytes adds only 0.006-0.007 cross-entropy, with less than 2% throughput change in our measurements. ARCHead therefore complements block quantizers by compressing the large output projection they can leave untouched. Code is available at https://github.com/suayptalha/archead.