Quatuor II : Pré-entraînement précis de LLM en NVFP4 par une estimation de gradient non biaisée améliorée

Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation

January 30, 2026

papers.authors: Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh

cs.AI

papers.abstract

Le format de faible précision NVFP4, pris en charge matériellement par les GPU NVIDIA Blackwell, promet de permettre pour la première fois le pré-entraînement entièrement quantifié de bout en bout de modèles massifs tels que les LLM. Pourtant, les méthodes d'entraînement quantifié existantes sacrifient encore une partie de la capacité de représentation de ce format au profit d'une estimation de gradient quantifié non biaisée plus précise par arrondi stochastique (SR), entraînant une perte de précision notable par rapport aux entraînements standards FP16 et FP8. Dans cet article, nous améliorons l'état de l'art pour l'entraînement quantifié en NVFP4 via une nouvelle routine de quantification non biaisée pour les formats micro-échelles, appelée MS-EDEN, qui présente une erreur de quantification plus de 2 fois inférieure à celle du SR. Nous l'intégrons dans un nouveau schéma de quantification entièrement NVFP4 pour les couches linéaires, appelé Quartet II. Nous montrons analytiquement que Quartet II permet une meilleure estimation du gradient de manière constante pour toutes les multiplications matricielles principales, tant lors des passes avant que lors des passes arrière. De plus, notre proposition synergise bien avec les améliorations récentes de l'entraînement spécifiquement conçues pour le NVFP4. Nous validons en outre Quartet II sur l'entraînement de LLM de bout en bout avec jusqu'à 1,9 milliard de paramètres sur 38 milliards de tokens. Nous fournissons des noyaux pour l'exécution sur les GPU NVIDIA Blackwell avec une accélération allant jusqu'à 4,2x par rapport au BF16. Notre code est disponible à l'adresse https://github.com/IST-DASLab/Quartet-II.

English

The NVFP4 lower-precision format, supported in hardware by NVIDIA Blackwell GPUs, promises to allow, for the first time, end-to-end fully-quantized pre-training of massive models such as LLMs. Yet, existing quantized training methods still sacrifice some of the representation capacity of this format in favor of more accurate unbiased quantized gradient estimation by stochastic rounding (SR), losing noticeable accuracy relative to standard FP16 and FP8 training. In this paper, improve the state of the art for quantized training in NVFP4 via a novel unbiased quantization routine for micro-scaled formats, called MS-EDEN, that has more than 2x lower quantization error than SR. We integrate it into a novel fully-NVFP4 quantization scheme for linear layers, called Quartet II. We show analytically that Quartet II achieves consistently better gradient estimation across all major matrix multiplications, both on the forward and on the backward passes. In addition, our proposal synergizes well with recent training improvements aimed specifically at NVFP4. We further validate Quartet II on end-to-end LLM training with up to 1.9B parameters on 38B tokens. We provide kernels for execution on NVIDIA Blackwell GPUs with up to 4.2x speedup over BF16. Our code is available at https://github.com/IST-DASLab/Quartet-II .