Quartet II: 改良された不偏勾配推定によるNVFP4における高精度LLM事前学習

Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation

January 30, 2026

著者: Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh

cs.AI

要旨

NVIDIA Blackwell GPUでハードウェアサポートされるNVFP4低精度フォーマットは、LLMのような大規模モデルのエンドツーエンド完全量子化事前学習を初めて実現する可能性を秘めています。しかし、既存の量子化学習手法では、確率的丸め（SR）による正確な不偏量子化勾配推定を優先するため、このフォーマットの表現能力の一部を犠牲にしており、標準的なFP16やFP8学習に比べて顕著な精度低下が生じています。本論文では、SRよりも2倍以上低い量子化誤差を実現するマイクロスケールフォーマット向けの新規不偏量子化手法「MS-EDEN」を提案し、NVFP4量子化学習の最先端を改善します。これを線形層向けの新規完全NVFP4量子化スキーム「Quartet II」に統合します。理論解析により、Quartet IIが順方向・逆方向伝播の両方における主要な行列乗算全体で、一貫して優れた勾配推定を達成することを示します。さらに、本提案はNVFP4向けの最近の学習改善手法とも良好に連携します。1.9Bパラメータ・38Bトークン規模でのLLMエンドツーエンド学習においてQuartet IIを検証し、BF16と比較して最大4.2倍の高速化をNVIDIA Blackwell GPU上で実現するカーネルを提供します。実装はhttps://github.com/IST-DASLab/Quartet-II で公開しています。

English

The NVFP4 lower-precision format, supported in hardware by NVIDIA Blackwell GPUs, promises to allow, for the first time, end-to-end fully-quantized pre-training of massive models such as LLMs. Yet, existing quantized training methods still sacrifice some of the representation capacity of this format in favor of more accurate unbiased quantized gradient estimation by stochastic rounding (SR), losing noticeable accuracy relative to standard FP16 and FP8 training. In this paper, improve the state of the art for quantized training in NVFP4 via a novel unbiased quantization routine for micro-scaled formats, called MS-EDEN, that has more than 2x lower quantization error than SR. We integrate it into a novel fully-NVFP4 quantization scheme for linear layers, called Quartet II. We show analytically that Quartet II achieves consistently better gradient estimation across all major matrix multiplications, both on the forward and on the backward passes. In addition, our proposal synergizes well with recent training improvements aimed specifically at NVFP4. We further validate Quartet II on end-to-end LLM training with up to 1.9B parameters on 38B tokens. We provide kernels for execution on NVIDIA Blackwell GPUs with up to 4.2x speedup over BF16. Our code is available at https://github.com/IST-DASLab/Quartet-II .