Квартет II: Точное предварительное обучение больших языковых моделей в NVFP4 с помощью улучшенной несмещенной оценки градиента
Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation
January 30, 2026
Авторы: Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh
cs.AI
Аннотация
Формат пониженной точности NVFP4, аппаратно поддерживаемый графическими процессорами NVIDIA Blackwell, впервые позволяет проводить сквозное полностью квантизованное предварительное обучение масштабных моделей, таких как большие языковые модели (LLM). Однако существующие методы квантизованного обучения по-прежнему жертвуют частью репрезентативной способности этого формата в пользу более точной несмещенной оценки квантизованного градиента с помощью стохастического округления (SR), что приводит к заметной потере точности по сравнению со стандартным обучением в форматах FP16 и FP8. В данной статье мы улучшаем состояние дел в области квантизованного обучения в NVFP4 за счет новой процедуры несмещенного квантования для микромасштабируемых форматов, названной MS-EDEN, которая имеет более чем в 2 раза меньшую ошибку квантования, чем SR. Мы интегрируем её в новую схему полного квантирования линейных слоев в NVFP4, названную Quartet II. Аналитически мы показываем, что Quartet II обеспечивает consistently более точную оценку градиента во всех основных матричных умножениях, как при прямом, так и при обратном проходах. Кроме того, наше предложение хорошо сочетается с последними улучшениями в обучении, разработанными специально для NVFP4. Мы дополнительно проверяем Quartet II на сквозном обучении LLM с числом параметров до 1,9 млрд на 38 млрд токенов. Мы предоставляем ядра для выполнения на GPU NVIDIA Blackwell с ускорением до 4,2 раза по сравнению с BF16. Наш код доступен по адресу https://github.com/IST-DASLab/Quartet-II.
English
The NVFP4 lower-precision format, supported in hardware by NVIDIA Blackwell GPUs, promises to allow, for the first time, end-to-end fully-quantized pre-training of massive models such as LLMs. Yet, existing quantized training methods still sacrifice some of the representation capacity of this format in favor of more accurate unbiased quantized gradient estimation by stochastic rounding (SR), losing noticeable accuracy relative to standard FP16 and FP8 training. In this paper, improve the state of the art for quantized training in NVFP4 via a novel unbiased quantization routine for micro-scaled formats, called MS-EDEN, that has more than 2x lower quantization error than SR. We integrate it into a novel fully-NVFP4 quantization scheme for linear layers, called Quartet II. We show analytically that Quartet II achieves consistently better gradient estimation across all major matrix multiplications, both on the forward and on the backward passes. In addition, our proposal synergizes well with recent training improvements aimed specifically at NVFP4. We further validate Quartet II on end-to-end LLM training with up to 1.9B parameters on 38B tokens. We provide kernels for execution on NVIDIA Blackwell GPUs with up to 4.2x speedup over BF16. Our code is available at https://github.com/IST-DASLab/Quartet-II .