メティス：高度な低ビット量子化を用いた大規模言語モデルのトレーニング

要旨

本研究は、低ビット量子化を用いた大規模言語モデル（LLM）の訓練における根本的な障壁として、異方性パラメータ分布を特定した。少数の支配的特異値が広い数値範囲を生成し、ブロック単位量子化の内在的バイアスと衝突する。このバイアスは、高振幅の値を不釣り合いに保持し、小さな値を破棄するため、訓練の不安定性とモデル性能の低下を引き起こす。本研究では、Metisという訓練フレームワークを提案する。Metisは、(i) ランダム埋め込みを伴うスペクトル分解を用いて、支配的成分とロングテール成分を効率的に分離し、広範な分布を量子化に適した狭い範囲に圧縮する。(ii) スペクトル領域における適応学習率を用いて、過小評価されている方向を増幅し、性能に重要な多様な特徴をより良く捕捉する。(iii) 数値精度とパラメータ範囲分布を共同で制約する二重範囲正則化器を用いて、安定したバイアスのない低ビット訓練を確保する。Metisを用いることで、FP8訓練はFP32ベースラインを上回り、FP4訓練はFP32と同等の精度を達成し、先進的な低ビット量子化下での堅牢かつスケーラブルなLLM訓練の道を開く。Metisのコード実装は以下で利用可能である：https://github.com/typename-yyf/Metis-quantization。

English

This work identifies anisotropic parameter distributions as a fundamental barrier to training large language models (LLMs) with low-bit quantization: a few dominant singular values create wide numerical ranges that conflict with the inherent bias of block-wise quantization. This bias disproportionately preserves high-magnitude values while discarding smaller ones, causing training instability and low model performance. This work introduces Metis, a training framework that combines (i) spectral decomposition with random embedding to efficiently disentangle dominant from long-tail components, compressing broad distributions into quantization-friendly narrow ranges; (ii) adaptive learning rates in the spectral domain to amplify underrepresented directions and better capture diverse features critical for performance; and (iii) a dual-range regularizer that jointly constrains numerical precision and parameter range distribution, ensuring stable, unbiased low-bit training. With Metis, FP8 training surpasses FP32 baselines, and FP4 training achieves accuracy comparable to FP32, paving the way for robust and scalable LLM training under advanced low-bit quantization. The code implementation for Metis is available at: https://github.com/typename-yyf/Metis-quantization.

メティス：高度な低ビット量子化を用いた大規模言語モデルのトレーニング

Metis: Training Large Language Models with Advanced Low-Bit Quantization

要旨

Support