FP4 量子化を使用した大規模言語モデルのトレーニングの最適化

Optimizing Large Language Model Training Using FP4 Quantization

January 28, 2025

著者: Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

cs.AI

要旨

大規模言語モデル（LLMs）の訓練における増大する計算要求は、より効率的な手法が必要とされています。量子化された訓練は、これらのコストを削減するために低ビットの算術演算を可能にすることで有望な解決策を提供しています。FP8精度は実現可能性を示していますが、FP4を活用することは、著しい量子化誤差と限られた表現能力のために課題となっています。本研究では、LLMs向けの初のFP4訓練フレームワークを導入し、これらの課題に対処しています。具体的には、正確な重み更新のための微分可能な量子化推定器と、活性化の崩壊を防ぐための外れ値クランプおよび補償戦略の2つの主要な革新を取り入れています。安定性を確保するために、フレームワークは混合精度訓練スキームとベクトル単位の量子化を統合しています。実験結果は、当社のFP4フレームワークがBF16およびFP8と同等の精度を達成し、最小限の劣化で、最大100Bトークンまで訓練された13BパラメータLLMsに効果的にスケーリングすることを示しています。FP4をサポートする次世代ハードウェアの登場により、当社のフレームワークは効率的な超低精度訓練の基盤を築いています。

English

The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates a mixed-precision training scheme and vector-wise quantization. Experimental results demonstrate that our FP4 framework achieves accuracy comparable to BF16 and FP8, with minimal degradation, scaling effectively to 13B-parameter LLMs trained on up to 100B tokens. With the emergence of next-generation hardware supporting FP4, our framework sets a foundation for efficient ultra-low precision training.