量子化を考慮した修復：圧縮された4ビットLLMを復元する実践的手法

要旨

大規模言語モデルを低コストで提供することは、ますます、パラメータ数を数分の一にまで構造的に圧縮し、さらに4ビットに量子化したモデルを出荷することを意味している。これらの処理は、推論、数学、コーディング、長文脈の挙動を低下させ、デプロイ前に回復（ヒーリング）段階を必要とするほどである。標準的な手法である量子化対応学習（QAT）は、圧縮・量子化されたモデルをハードラベルに再適合させるが、我々のパイプラインでは収束が遅く、ピークを過ぎると性能が崩壊した。そこで我々は、代わりに量子化対応ヒーリング（QAH）を採用した。構造的に圧縮されたモデルは完全精度で独立に訓練されることがないため、そのbfloat16チェックポイントは元のモデルを蒸留によって復元した近似である。QAHは4ビットの生徒モデルを、圧縮されていない元のモデルから直接蒸留する。GPT-OSS 120Bから60B、さらにMXFP4へのパイプラインにおいて、QAH生徒モデルは9つのベンチマーク中7つでbfloat16の元モデルに匹敵するかそれを上回り、重みメモリは約4分の1、パラメータ数は教師モデルの半分である。そしてHypernova-60Bとしてオープンウェイトで公開された。同等条件のQATベースラインと比較して、約7倍速く同等のピークに到達し、手動調整による早期打ち切りなしで継続的な学習の下でも安定している。また、分散学習バックエンド間の大きく再現可能な品質格差など、デプロイに関する教訓も報告する。我々の目標は、数週間に及ぶハイパーパラメータ探索なしでデプロイ可能な手法を提供することである。

English

Serving large language models cheaply increasingly means shipping models that are both structurally compressed to a fraction of their parameters and quantized to 4 bits. Together these steps degrade reasoning, mathematics, coding, and long-context behavior enough to require a recovery, or healing, stage before deployment. The default recipe, quantization-aware training (QAT), re-fits the compressed, quantized model to hard labels; in our pipeline it converged slowly and collapsed past its peak. We adopted Quantization-Aware Healing (QAH) instead. Because a structurally compressed model is never independently trained at full precision, its bfloat16 checkpoint is a distillation-recovered approximation of the original; QAH distills the 4-bit student directly from the original, uncompressed model. On a GPT-OSS 120B to 60B to MXFP4 pipeline, the QAH student matches or beats its bfloat16 source on 7 of 9 benchmarks at roughly 4 times less weight memory and half the teacher's parameter count, and is released open-weight as Hypernova-60B. Against a matched QAT baseline it reaches a comparable peak about 7 times faster and stays stable under continued training, without hand-tuned early stopping. We also report deployment lessons, including a large, reproducible quality gap between distributed-training backends. Our aim is a recipe deployable without a multi-week hyper-parameter search.