Cuarteto II: Preentrenamiento Preciso de LLM en NVFP4 mediante Estimación Mejorada de Gradientes Insesgados

Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation

January 30, 2026

Autores: Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh

cs.AI

Resumen

El formato de baja precisión NVFP4, soportado en hardware por las GPU NVIDIA Blackwell, promete permitir por primera vez el pre-entrenamiento completamente cuantizado de extremo a extremo de modelos masivos como los LLM. Sin embargo, los métodos de entrenamiento cuantizados existentes aún sacrifican parte de la capacidad de representación de este formato en favor de una estimación de gradiente cuantizado más precisa y sin sesgo mediante el redondeo estocástico (SR), perdiendo una precisión notable en comparación con el entrenamiento estándar en FP16 y FP8. En este artículo, mejoramos el estado del arte para el entrenamiento cuantizado en NVFP4 mediante una novedosa rutina de cuantización sin sesgo para formatos de micro-escala, denominada MS-EDEN, que tiene un error de cuantización más de 2 veces menor que el SR. La integramos en un novedoso esquema de cuantización completamente en NVFP4 para capas lineales, llamado Quartet II. Demostramos analíticamente que Quartet II logra una estimación de gradiente consistentemente mejor en todas las multiplicaciones de matrices principales, tanto en las pasadas hacia adelante como en las hacia atrás. Además, nuestra propuesta sinergiza bien con las mejoras recientes en el entrenamiento dirigidas específicamente a NVFP4. Validamos además Quartet II en el entrenamiento de LLM de extremo a extremo con hasta 1.900 millones de parámetros en 38.000 millones de tokens. Proporcionamos *kernels* para su ejecución en GPU NVIDIA Blackwell con una aceleración de hasta 4,2x sobre BF16. Nuestro código está disponible en https://github.com/IST-DASLab/Quartet-II.

English

The NVFP4 lower-precision format, supported in hardware by NVIDIA Blackwell GPUs, promises to allow, for the first time, end-to-end fully-quantized pre-training of massive models such as LLMs. Yet, existing quantized training methods still sacrifice some of the representation capacity of this format in favor of more accurate unbiased quantized gradient estimation by stochastic rounding (SR), losing noticeable accuracy relative to standard FP16 and FP8 training. In this paper, improve the state of the art for quantized training in NVFP4 via a novel unbiased quantization routine for micro-scaled formats, called MS-EDEN, that has more than 2x lower quantization error than SR. We integrate it into a novel fully-NVFP4 quantization scheme for linear layers, called Quartet II. We show analytically that Quartet II achieves consistently better gradient estimation across all major matrix multiplications, both on the forward and on the backward passes. In addition, our proposal synergizes well with recent training improvements aimed specifically at NVFP4. We further validate Quartet II on end-to-end LLM training with up to 1.9B parameters on 38B tokens. We provide kernels for execution on NVIDIA Blackwell GPUs with up to 4.2x speedup over BF16. Our code is available at https://github.com/IST-DASLab/Quartet-II .