Pretrainen van grote taalmodelen met NVFP4

Samenvatting

Grote Taalmodellen (LLMs) zijn tegenwoordig krachtige probleemoplossers in vele domeinen, en ze worden steeds sterker naarmate ze schalen in modelgrootte, trainingsetgrootte en trainingsetkwaliteit, zoals blijkt uit uitgebreid onderzoek en experimenten in de industrie. Het trainen van een grensverleggend model vereist tegenwoordig in de orde van tientallen tot honderden yottaflops, wat een enorme investering van tijd, rekenkracht en energie betekent. Het verbeteren van de efficiëntie van voorafgaande training is daarom essentieel om de volgende generatie van nog krachtigere LLMs mogelijk te maken. Hoewel 8-bit floating point (FP8) training nu breed wordt toegepast, zou de overgang naar nog smallere precisie, zoals 4-bit floating point (FP4), extra verbeteringen in rekensnelheid en resourcegebruik kunnen ontgrendelen. Kwantisatie op dit niveau brengt echter uitdagingen met zich mee voor trainingsstabiliteit, convergentie en implementatie, met name voor grootschalige modellen die getraind worden op lange tokenhorizons. In deze studie introduceren we een nieuwe aanpak voor stabiele en nauwkeurige training van grote taalmodellen (LLMs) met behulp van het NVFP4-formaat. Onze methode integreert Random Hadamard-transformaties (RHT) om blokniveau-uitbijters te begrenzen, maakt gebruik van een tweedimensionaal kwantisatieschema voor consistente representaties in zowel de voorwaartse als de achterwaartse passes, benut stochastische afronding voor onbevooroordeelde gradientenschatting, en omvat selectieve lagen met hoge precisie. We valideren onze aanpak door een model met 12 miljard parameters te trainen op 10 biljoen tokens — de langste openbaar gedocumenteerde training in 4-bit precisie tot nu toe. Onze resultaten laten zien dat het model dat getraind is met onze NVFP4-gebaseerde voorafgaande trainingstechniek een trainingsverlies en nauwkeurigheid op downstream-taken bereikt die vergelijkbaar zijn met een FP8-baseline. Deze bevindingen benadrukken dat NVFP4, in combinatie met onze trainingsaanpak, een grote stap voorwaarts vertegenwoordigt in smalle-precisie LLM-trainingsalgoritmen.

English

Large Language Models (LLMs) today are powerful problem solvers across many domains, and they continue to get stronger as they scale in model size, training set size, and training set quality, as shown by extensive research and experimentation across the industry. Training a frontier model today requires on the order of tens to hundreds of yottaflops, which is a massive investment of time, compute, and energy. Improving pretraining efficiency is therefore essential to enable the next generation of even more capable LLMs. While 8-bit floating point (FP8) training is now widely adopted, transitioning to even narrower precision, such as 4-bit floating point (FP4), could unlock additional improvements in computational speed and resource utilization. However, quantization at this level poses challenges to training stability, convergence, and implementation, notably for large-scale models trained on long token horizons. In this study, we introduce a novel approach for stable and accurate training of large language models (LLMs) using the NVFP4 format. Our method integrates Random Hadamard transforms (RHT) to bound block-level outliers, employs a two-dimensional quantization scheme for consistent representations across both the forward and backward passes, utilizes stochastic rounding for unbiased gradient estimation, and incorporates selective high-precision layers. We validate our approach by training a 12-billion-parameter model on 10 trillion tokens -- the longest publicly documented training run in 4-bit precision to date. Our results show that the model trained with our NVFP4-based pretraining technique achieves training loss and downstream task accuracies comparable to an FP8 baseline. These findings highlight that NVFP4, when combined with our training approach, represents a major step forward in narrow-precision LLM training algorithms.

Pretrainen van grote taalmodelen met NVFP4

Pretraining Large Language Models with NVFP4

Samenvatting

Support