Quartett II: Präzises Vortraining von LLMs in NVFP4 durch verbesserte unverzerrte Gradientenschätzung
Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation
January 30, 2026
papers.authors: Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh
cs.AI
papers.abstract
Das NVFP4-Format mit geringerer Präzision, das hardwaremäßig von NVIDIA Blackwell GPUs unterstützt wird, verspricht erstmals end-to-end vollständig quantisierte Vortrainierung massiver Modelle wie LLMs zu ermöglichen. Dennoch opfern bestehende quantisierte Trainingsmethoden immer noch einen Teil der Darstellungskapazität dieses Formats zugunsten einer genaueren, unverzerrten quantisierten Gradientenschätzung durch stochastisches Runden (SR), was eine merkliche Genauigkeit im Vergleich zum Standardtraining mit FP16 und FP8 kostet. In diesem Beitrag verbessern wir den Stand der Technik für quantisiertes Training mit NVFP4 durch eine neuartige, unverzerrte Quantisierungsroutine für mikroskalierte Formate, genannt MS-EDEN, die einen mehr als 2-mal geringeren Quantisierungsfehler als SR aufweist. Wir integrieren sie in ein neuartiges vollständig-NVFP4-Quantisierungsschema für lineare Schichten, genannt Quartet II. Wir zeigen analytisch, dass Quartet II durchweg eine bessere Gradientenschätzung über alle wichtigen Matrixmultiplikationen hinweg erreicht, sowohl im Vorwärts- als auch im Rückwärtsdurchlauf. Darüber hinaus harmoniert unser Vorschlag gut mit recenten Trainingsverbesserungen, die speziell auf NVFP4 abzielen. Wir validieren Quartet II weiterhin anhand end-to-end LLM-Trainings mit bis zu 1,9 Mrd. Parametern auf 38 Mrd. Tokens. Wir stellen Kernel für die Ausführung auf NVIDIA Blackwell GPUs bereit, die eine bis zu 4,2-fache Beschleunigung gegenüber BF16 erreichen. Unser Code ist verfügbar unter https://github.com/IST-DASLab/Quartet-II.
English
The NVFP4 lower-precision format, supported in hardware by NVIDIA Blackwell GPUs, promises to allow, for the first time, end-to-end fully-quantized pre-training of massive models such as LLMs. Yet, existing quantized training methods still sacrifice some of the representation capacity of this format in favor of more accurate unbiased quantized gradient estimation by stochastic rounding (SR), losing noticeable accuracy relative to standard FP16 and FP8 training. In this paper, improve the state of the art for quantized training in NVFP4 via a novel unbiased quantization routine for micro-scaled formats, called MS-EDEN, that has more than 2x lower quantization error than SR. We integrate it into a novel fully-NVFP4 quantization scheme for linear layers, called Quartet II. We show analytically that Quartet II achieves consistently better gradient estimation across all major matrix multiplications, both on the forward and on the backward passes. In addition, our proposal synergizes well with recent training improvements aimed specifically at NVFP4. We further validate Quartet II on end-to-end LLM training with up to 1.9B parameters on 38B tokens. We provide kernels for execution on NVIDIA Blackwell GPUs with up to 4.2x speedup over BF16. Our code is available at https://github.com/IST-DASLab/Quartet-II .