ARCHead: 大規模言語モデルの出力ヘッドに対するアクティベーション指標残差補正

要旨

重みのみの量子化は、大規模言語モデル(LLM)のトランスフォーマーブロックのストレージを大幅に削減するが、実用的なバックエンドでは、最終的な言語モデリングヘッド(LMヘッド)をBF16またはFP16で保持することが多い。この射影を単純に量子化すると、語彙ロジット分布が大きく乱され得る。我々は、量子化された低ランクコア、グループ単位のINT4残差、および活性化由来のメトリックで適合させた低ランク補正を組み合わせた、パック型LMヘッド圧縮機であるARCHeadを提案する。ARCHeadは、高密度のBF16ヘッドを保持せず、永続的なLMヘッドストレージを3.7〜3.9倍削減する。Qwen3-8B-Baseでは、BF16ヘッドストレージの25.6%を使用しながら、相対パープレキシティ1.007を達成する。ストレージを一致させた単純なINT4は1.14〜1.16となる。AWQまたはbitsandbytesが残したBF16ヘッドをARCHeadで置き換える場合、交差エントロピーの増加はわずか0.006〜0.007であり、我々の測定ではスループットの変化は2%未満である。したがってARCHeadは、ブロック量子化器が触れずに残す大きな出力射影を圧縮することで、ブロック量子化器を補完する。コードはhttps://github.com/suayptalha/archeadで入手可能である。

English

Weight-only quantization substantially reduces the storage of large language model (LLM) transformer blocks, but practical backends often retain the final language-modeling head (LM-head) in BF16 or FP16. Quantizing this projection naively can strongly perturb the vocabulary-logit distribution. We present ARCHead, a packed LM-head compressor that combines a quantized low-rank core, group-wise INT4 residuals, and a low-rank correction fitted in an activation-derived metric. ARCHead stores no dense BF16 head and reduces persistent LM-head storage by 3.7-3.9x. On Qwen3-8B-Base, it uses 25.6% of BF16 head storage while attaining 1.007 relative perplexity; storage-matched naive INT4 yields 1.14-1.16. Replacing the BF16 head left by AWQ or bitsandbytes adds only 0.006-0.007 cross-entropy, with less than 2% throughput change in our measurements. ARCHead therefore complements block quantizers by compressing the large output projection they can leave untouched. Code is available at https://github.com/suayptalha/archead.