Kwartet II: Nauwkeurige LLM Pre-training in NVFP4 door Verbeterde Onbevooroordeelde Gradiëntschatting

Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation

January 30, 2026

Auteurs: Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh

cs.AI

Samenvatting

Het NVFP4-lage-precisieformaat, dat hardwarematig wordt ondersteund door NVIDIA Blackwell GPU's, belooft voor het eerst end-to-end volledig gekwantiseerde pre-training van massieve modellen zoals LLM's mogelijk te maken. Toch offeren bestaande gekwantiseerde trainingsmethoden nog steeds een deel van de representatiecapaciteit van dit format op ten gunste van nauwkeurigere ongebaseerde gekwantiseerde gradientenschatting via stochastische afronding (SR), wat merkbare nauwkeurigheid kost ten opzichte van standaard FP16- en FP8-training. In dit artikel verbeteren we de state-of-the-art voor gekwantiseerde training in NVFP4 via een nieuwe ongebaseerde kwantiseringsroutine voor micro-schalige formaten, genaamd MS-EDEN, die meer dan 2x lagere kwantiseringsfout heeft dan SR. We integreren dit in een nieuw volledig-NVFP4-kwantiseringsschema voor lineaire lagen, genaamd Quartet II. We tonen analytisch aan dat Quartet II consistent betere gradientenschatting bereikt bij alle belangrijke matrixvermenigvuldigingen, zowel in de voorwaartse als in de terugwaartse passes. Daarnaast synergiseert ons voorstel goed met recente trainingsverbeteringen die specifiek op NVFP4 zijn gericht. We valideren Quartet II verder met end-to-end LLM-training met tot 1,9B parameters op 38B tokens. We bieden kernels voor uitvoering op NVIDIA Blackwell GPU's met tot 4,2x versnelling ten opzichte van BF16. Onze code is beschikbaar op https://github.com/IST-DASLab/Quartet-II.

English

The NVFP4 lower-precision format, supported in hardware by NVIDIA Blackwell GPUs, promises to allow, for the first time, end-to-end fully-quantized pre-training of massive models such as LLMs. Yet, existing quantized training methods still sacrifice some of the representation capacity of this format in favor of more accurate unbiased quantized gradient estimation by stochastic rounding (SR), losing noticeable accuracy relative to standard FP16 and FP8 training. In this paper, improve the state of the art for quantized training in NVFP4 via a novel unbiased quantization routine for micro-scaled formats, called MS-EDEN, that has more than 2x lower quantization error than SR. We integrate it into a novel fully-NVFP4 quantization scheme for linear layers, called Quartet II. We show analytically that Quartet II achieves consistently better gradient estimation across all major matrix multiplications, both on the forward and on the backward passes. In addition, our proposal synergizes well with recent training improvements aimed specifically at NVFP4. We further validate Quartet II on end-to-end LLM training with up to 1.9B parameters on 38B tokens. We provide kernels for execution on NVIDIA Blackwell GPUs with up to 4.2x speedup over BF16. Our code is available at https://github.com/IST-DASLab/Quartet-II .