Preentrenamiento de Modelos de Lenguaje a Gran Escala con NVFP4

Pretraining Large Language Models with NVFP4

September 29, 2025

Autores: NVIDIA, Felix Abecassis, Anjulie Agrusa, Dong Ahn, Jonah Alben, Stefania Alborghetti, Michael Andersch, Sivakumar Arayandi, Alexis Bjorlin, Aaron Blakeman, Evan Briones, Ian Buck, Bryan Catanzaro, Jinhang Choi, Mike Chrzanowski, Eric Chung, Victor Cui, Steve Dai, Bita Darvish Rouhani, Carlo del Mundo, Deena Donia, Burc Eryilmaz, Henry Estela, Abhinav Goel, Oleg Goncharov, Yugi Guvvala, Robert Hesse, Russell Hewett, Herbert Hum, Ujval Kapasi, Brucek Khailany, Mikail Khona, Nick Knight, Alex Kondratenko, Ronny Krashinsky, Ben Lanir, Simon Layton, Michael Lightstone, Daniel Lo, Paulius Micikevicius, Asit Mishra, Tim Moon, Deepak Narayanan, Chao Ni, Abhijit Paithankar, Satish Pasumarthi, Ankit Patel, Mostofa Patwary, Ashwin Poojary, Gargi Prasad, Sweta Priyadarshi, Yigong Qin, Xiaowei Ren, Oleg Rybakov, Charbel Sakr, Sanjeev Satheesh, Stas Sergienko, Pasha Shamis, Kirthi Shankar, Nishant Sharma, Mohammad Shoeybi, Michael Siu, Misha Smelyanskiy, Darko Stosic, Dusan Stosic, Bor-Yiing Su, Frank Sun, Nima Tajbakhsh, Shelby Thomas, Przemek Tredak, Evgeny Tsykunov, Gandhi Vaithilingam, Aditya Vavre, Rangharajan Venkatesan, Roger Waleffe, Qiyu Wan, Hexin Wang, Mengdi Wang, Lizzie Wei, Hao Wu, Evan Wu, Keith Wyss, Ning Xu, Jinze Xue, Charlene Yang, Yujia Zhai, Ruoxi Zhang, Jingyang Zhu, Zhongbo Zhu

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) son hoy en día potentes solucionadores de problemas en múltiples dominios, y continúan fortaleciéndose a medida que escalan en tamaño del modelo, tamaño del conjunto de entrenamiento y calidad del conjunto de entrenamiento, como lo demuestra una extensa investigación y experimentación en la industria. Entrenar un modelo de vanguardia hoy en día requiere del orden de decenas a cientos de yottaflops, lo que representa una inversión masiva de tiempo, capacidad de cómputo y energía. Por lo tanto, mejorar la eficiencia del preentrenamiento es esencial para habilitar la próxima generación de LLMs aún más capaces. Si bien el entrenamiento con precisión de punto flotante de 8 bits (FP8) es ampliamente adoptado, la transición a precisiones aún más reducidas, como el punto flotante de 4 bits (FP4), podría desbloquear mejoras adicionales en velocidad computacional y utilización de recursos. Sin embargo, la cuantización a este nivel plantea desafíos en la estabilidad del entrenamiento, la convergencia y la implementación, especialmente para modelos de gran escala entrenados con horizontes de tokens largos. En este estudio, presentamos un enfoque novedoso para el entrenamiento estable y preciso de modelos de lenguaje de gran escala (LLMs) utilizando el formato NVFP4. Nuestro método integra transformadas de Hadamard aleatorias (RHT) para limitar los valores atípicos a nivel de bloque, emplea un esquema de cuantización bidimensional para representaciones consistentes tanto en las pasadas hacia adelante como hacia atrás, utiliza redondeo estocástico para la estimación imparcial de gradientes e incorpora capas selectivas de alta precisión. Validamos nuestro enfoque entrenando un modelo de 12 mil millones de parámetros con 10 billones de tokens, la ejecución de entrenamiento más larga documentada públicamente en precisión de 4 bits hasta la fecha. Nuestros resultados muestran que el modelo entrenado con nuestra técnica de preentrenamiento basada en NVFP4 alcanza una pérdida de entrenamiento y precisiones en tareas posteriores comparables a una línea base FP8. Estos hallazgos destacan que NVFP4, combinado con nuestro enfoque de entrenamiento, representa un avance significativo en los algoritmos de entrenamiento de LLMs con precisión reducida.

English

Large Language Models (LLMs) today are powerful problem solvers across many domains, and they continue to get stronger as they scale in model size, training set size, and training set quality, as shown by extensive research and experimentation across the industry. Training a frontier model today requires on the order of tens to hundreds of yottaflops, which is a massive investment of time, compute, and energy. Improving pretraining efficiency is therefore essential to enable the next generation of even more capable LLMs. While 8-bit floating point (FP8) training is now widely adopted, transitioning to even narrower precision, such as 4-bit floating point (FP4), could unlock additional improvements in computational speed and resource utilization. However, quantization at this level poses challenges to training stability, convergence, and implementation, notably for large-scale models trained on long token horizons. In this study, we introduce a novel approach for stable and accurate training of large language models (LLMs) using the NVFP4 format. Our method integrates Random Hadamard transforms (RHT) to bound block-level outliers, employs a two-dimensional quantization scheme for consistent representations across both the forward and backward passes, utilizes stochastic rounding for unbiased gradient estimation, and incorporates selective high-precision layers. We validate our approach by training a 12-billion-parameter model on 10 trillion tokens -- the longest publicly documented training run in 4-bit precision to date. Our results show that the model trained with our NVFP4-based pretraining technique achieves training loss and downstream task accuracies comparable to an FP8 baseline. These findings highlight that NVFP4, when combined with our training approach, represents a major step forward in narrow-precision LLM training algorithms.