NVFP4を用いた大規模言語モデルの事前学習

要旨

今日の大規模言語モデル（LLMs）は、多くの分野において強力な問題解決ツールとして機能しており、モデルサイズ、トレーニングデータセットの規模、および品質の向上に伴い、その能力はさらに強化され続けています。これは、業界全体での広範な研究と実験によって示されています。現在、最先端のモデルをトレーニングするためには、数十から数百ヨタフロップスの計算リソースが必要であり、時間、計算能力、エネルギーに対する莫大な投資が求められます。したがって、次世代のさらに高性能なLLMsを実現するためには、事前学習の効率化が不可欠です。8ビット浮動小数点（FP8）トレーニングは現在広く採用されていますが、4ビット浮動小数点（FP4）のようなさらに低い精度への移行は、計算速度とリソース利用効率のさらなる向上をもたらす可能性があります。しかし、このレベルの量子化は、トレーニングの安定性、収束性、および実装において課題を引き起こし、特に長いトークンホライズンでトレーニングされた大規模モデルにおいて顕著です。本研究では、NVFP4フォーマットを使用した大規模言語モデル（LLMs）の安定かつ正確なトレーニングのための新しいアプローチを紹介します。私たちの手法は、ブロックレベルの外れ値を制限するためにランダムハダマード変換（RHT）を統合し、順方向および逆方向の両方のパスで一貫した表現を実現するための二次元量子化スキームを採用し、偏りのない勾配推定を実現するための確率的丸めを利用し、選択的な高精度層を組み込んでいます。私たちは、10兆トークンで120億パラメータのモデルをトレーニングすることでこのアプローチを検証しました。これは、これまでに公開されている4ビット精度での最長のトレーニング実行です。私たちの結果は、NVFP4ベースの事前学習技術を用いてトレーニングされたモデルが、FP8ベースラインと同等のトレーニング損失および下流タスクの精度を達成することを示しています。これらの発見は、NVFP4が私たちのトレーニングアプローチと組み合わさることで、低精度LLMトレーニングアルゴリズムにおける大きな前進を表していることを強調しています。

English

Large Language Models (LLMs) today are powerful problem solvers across many domains, and they continue to get stronger as they scale in model size, training set size, and training set quality, as shown by extensive research and experimentation across the industry. Training a frontier model today requires on the order of tens to hundreds of yottaflops, which is a massive investment of time, compute, and energy. Improving pretraining efficiency is therefore essential to enable the next generation of even more capable LLMs. While 8-bit floating point (FP8) training is now widely adopted, transitioning to even narrower precision, such as 4-bit floating point (FP4), could unlock additional improvements in computational speed and resource utilization. However, quantization at this level poses challenges to training stability, convergence, and implementation, notably for large-scale models trained on long token horizons. In this study, we introduce a novel approach for stable and accurate training of large language models (LLMs) using the NVFP4 format. Our method integrates Random Hadamard transforms (RHT) to bound block-level outliers, employs a two-dimensional quantization scheme for consistent representations across both the forward and backward passes, utilizes stochastic rounding for unbiased gradient estimation, and incorporates selective high-precision layers. We validate our approach by training a 12-billion-parameter model on 10 trillion tokens -- the longest publicly documented training run in 4-bit precision to date. Our results show that the model trained with our NVFP4-based pretraining technique achieves training loss and downstream task accuracies comparable to an FP8 baseline. These findings highlight that NVFP4, when combined with our training approach, represents a major step forward in narrow-precision LLM training algorithms.

NVFP4を用いた大規模言語モデルの事前学習

Pretraining Large Language Models with NVFP4

要旨

Support