Pré-entraînement de grands modèles de langage avec NVFP4

Pretraining Large Language Models with NVFP4

September 29, 2025

papers.authors: NVIDIA, Felix Abecassis, Anjulie Agrusa, Dong Ahn, Jonah Alben, Stefania Alborghetti, Michael Andersch, Sivakumar Arayandi, Alexis Bjorlin, Aaron Blakeman, Evan Briones, Ian Buck, Bryan Catanzaro, Jinhang Choi, Mike Chrzanowski, Eric Chung, Victor Cui, Steve Dai, Bita Darvish Rouhani, Carlo del Mundo, Deena Donia, Burc Eryilmaz, Henry Estela, Abhinav Goel, Oleg Goncharov, Yugi Guvvala, Robert Hesse, Russell Hewett, Herbert Hum, Ujval Kapasi, Brucek Khailany, Mikail Khona, Nick Knight, Alex Kondratenko, Ronny Krashinsky, Ben Lanir, Simon Layton, Michael Lightstone, Daniel Lo, Paulius Micikevicius, Asit Mishra, Tim Moon, Deepak Narayanan, Chao Ni, Abhijit Paithankar, Satish Pasumarthi, Ankit Patel, Mostofa Patwary, Ashwin Poojary, Gargi Prasad, Sweta Priyadarshi, Yigong Qin, Xiaowei Ren, Oleg Rybakov, Charbel Sakr, Sanjeev Satheesh, Stas Sergienko, Pasha Shamis, Kirthi Shankar, Nishant Sharma, Mohammad Shoeybi, Michael Siu, Misha Smelyanskiy, Darko Stosic, Dusan Stosic, Bor-Yiing Su, Frank Sun, Nima Tajbakhsh, Shelby Thomas, Przemek Tredak, Evgeny Tsykunov, Gandhi Vaithilingam, Aditya Vavre, Rangharajan Venkatesan, Roger Waleffe, Qiyu Wan, Hexin Wang, Mengdi Wang, Lizzie Wei, Hao Wu, Evan Wu, Keith Wyss, Ning Xu, Jinze Xue, Charlene Yang, Yujia Zhai, Ruoxi Zhang, Jingyang Zhu, Zhongbo Zhu

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) d'aujourd'hui sont des résolveurs de problèmes puissants dans de nombreux domaines, et ils continuent de se renforcer à mesure qu'ils augmentent en taille de modèle, en taille d'ensemble d'entraînement et en qualité d'ensemble d'entraînement, comme le démontrent des recherches et des expérimentations approfondies à travers l'industrie. L'entraînement d'un modèle de pointe aujourd'hui nécessite de l'ordre de dizaines à centaines de yottaflops, ce qui représente un investissement massif en temps, en calcul et en énergie. Améliorer l'efficacité du pré-entraînement est donc essentiel pour permettre la prochaine génération de LLMs encore plus performants. Bien que l'entraînement en virgule flottante 8 bits (FP8) soit désormais largement adopté, la transition vers une précision encore plus étroite, telle que la virgule flottante 4 bits (FP4), pourrait débloquer des améliorations supplémentaires en vitesse de calcul et en utilisation des ressources. Cependant, la quantification à ce niveau pose des défis en matière de stabilité de l'entraînement, de convergence et d'implémentation, notamment pour les modèles de grande taille entraînés sur de longues séquences de tokens. Dans cette étude, nous introduisons une nouvelle approche pour un entraînement stable et précis de modèles de langage de grande taille (LLMs) en utilisant le format NVFP4. Notre méthode intègre des transformations de Hadamard aléatoires (RHT) pour limiter les valeurs aberrantes au niveau des blocs, emploie un schéma de quantification bidimensionnel pour des représentations cohérentes à la fois lors des passes avant et arrière, utilise un arrondi stochastique pour une estimation non biaisée des gradients, et incorpore des couches sélectives en haute précision. Nous validons notre approche en entraînant un modèle de 12 milliards de paramètres sur 10 000 milliards de tokens — la plus longue séquence d'entraînement documentée publiquement en précision 4 bits à ce jour. Nos résultats montrent que le modèle entraîné avec notre technique de pré-entraînement basée sur NVFP4 atteint une perte d'entraînement et des précisions sur des tâches en aval comparables à une référence FP8. Ces résultats soulignent que NVFP4, combiné à notre approche d'entraînement, représente une avancée majeure dans les algorithmes d'entraînement de LLMs en précision étroite.

English

Large Language Models (LLMs) today are powerful problem solvers across many domains, and they continue to get stronger as they scale in model size, training set size, and training set quality, as shown by extensive research and experimentation across the industry. Training a frontier model today requires on the order of tens to hundreds of yottaflops, which is a massive investment of time, compute, and energy. Improving pretraining efficiency is therefore essential to enable the next generation of even more capable LLMs. While 8-bit floating point (FP8) training is now widely adopted, transitioning to even narrower precision, such as 4-bit floating point (FP4), could unlock additional improvements in computational speed and resource utilization. However, quantization at this level poses challenges to training stability, convergence, and implementation, notably for large-scale models trained on long token horizons. In this study, we introduce a novel approach for stable and accurate training of large language models (LLMs) using the NVFP4 format. Our method integrates Random Hadamard transforms (RHT) to bound block-level outliers, employs a two-dimensional quantization scheme for consistent representations across both the forward and backward passes, utilizes stochastic rounding for unbiased gradient estimation, and incorporates selective high-precision layers. We validate our approach by training a 12-billion-parameter model on 10 trillion tokens -- the longest publicly documented training run in 4-bit precision to date. Our results show that the model trained with our NVFP4-based pretraining technique achieves training loss and downstream task accuracies comparable to an FP8 baseline. These findings highlight that NVFP4, when combined with our training approach, represents a major step forward in narrow-precision LLM training algorithms.