なぜGated DeltaNetは4ビット量子化に耐えうるのか：ハイブリッド型27B LLMの再帰部分に対するNVFP4 W4A4の適用

Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM

September 3, 2026

著者: Sergii Kozyrev, Davyd Maiboroda

cs.AI

要旨

ハイブリッドLLMは、ソフトマックスアテンションと、Gated DeltaNet（GDN）に代表される線形アテンション層を組み合わせる。線形アテンション層のリカレント状態は、文脈を固定サイズの要約に圧縮する。Qwen3.8-27B（48個のGDN層と16個のアテンション層）に対するコミュニティ初期の4ビット量子化では、再帰における誤差が長いコンテキストにわたって蓄積するという直感から、GDNブロック、特にその減衰（decay）ゲートと書き込み強度（write-strength）ゲートが8ビットまたは16ビット精度のまま残されていた。我々はこの直感を検証するため、GDNを含む全496個の線形層をNVFP4 W4A4で量子化したMinimaを構築した。4K/32Kでのパープレキシティ、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench、64KまでのRULER検索の各指標において、Minimaは乱数シードによるばらつきの範囲内でBF16と一致する性能を示し（5タスク平均-0.52）、しかも比較対象としたレシピの中で最小（17.5 GiB）かつプリフィルが最速（+14〜19%）である。さらに、32Kでのパープレキシティの差は、位置が進むにつれて縮小する。4つのパートからなるメカニズム研究がその理由を説明する。（i）NVFP4の16要素単位ブロックスケーリングは残差ストリームの極端な外れ値を局在化させ、層の役割間で活性化誤差を均等化する。（ii）壊れやすいと想定されていたゲート射影は、実際には最も誤差の影響を受けにくい。softplus/指数関数およびシグモイドによるパラメータ化は、約11%のGEMM誤差を約2%の出力誤差へ圧縮する。（iii）デルタ則の再帰は、注入されたノイズを32Kトークンにわたって平坦なプラトーに保ち、状態へのインパルスは数百ステップ以内に忘れる。これは、各書き込みが現在のキー方向に沿って状態を上書きするためである。（iv）トークンごとの量子化コストは累積するのではなく、コンテキストの増加とともに減衰する。さらに我々は、モジュール単位でキャリブレーションされたNVFP4チェックポイントを、それらのモジュールを単一のGEMMに融合するカーネルで処理する際に生じる大域スケールの不整合を修正し、キャリブレーション済みFP8 KVキャッシュスケールが性能コストを生じないことも示す。結論として、本手法は「すべてを量子化し、KVスケールを同梱する」という実用的なレシピと、ハイブリッドLLMの再帰側が量子化しやすい側である理由に関する機構論的説明を与える。チェックポイント: https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4

English

Hybrid LLMs pair softmax attention with linear-attention layers such as Gated DeltaNet (GDN), whose recurrent state summarizes the context in fixed size. Early community 4-bit quantizations of Qwen3.8-27B (48 GDN layers, 16 attention layers) left the GDN block in 8- or 16-bit precision -- especially its decay and write-strength gates -- on the intuition that errors in a recurrence accumulate over long contexts. We test that intuition by building Minima: NVFP4 W4A4 on all 496 linear layers, GDN included. Across perplexity at 4K/32K, MMLU-Pro, GSM8K, AIME'25, GPQA-Diamond, LiveCodeBench, and RULER retrieval to 64K, Minima matches BF16 within seed noise (5-task average -0.52) while being the smallest (17.5 GiB) and fastest-prefill (+14-19%) recipe we compare, and its 32K perplexity gap shrinks with position. A four-part mechanism study explains why: (i) NVFP4's 16-element block scaling localizes the residual stream's extreme outliers, equalizing activation error across layer roles; (ii) the supposedly fragile gate projections are the least sensitive -- softplus/exponential and sigmoid parameterizations compress ~11% GEMM error to ~2% output error; (iii) the delta-rule recurrence holds injected noise at a flat plateau over 32K tokens and forgets a state impulse within hundreds of steps, because each write overwrites the state along the current key direction; (iv) the per-token quantization cost washes out with context instead of compounding. We also repair a global-scale mismatch that arises when per-module-calibrated NVFP4 checkpoints are served by kernels that fuse those modules into one GEMM, and show calibrated FP8 KV-cache scales are performance-free. The result: a practical recipe -- quantize everything, ship KV scales -- and a mechanistic account of why the recurrent half of a hybrid LLM is the easy half to quantize. Checkpoint: https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4