ReRound: キャリブレーション不要LLM量子化における中点曖昧性を解決する再構成的丸め

要旨

ReRound（Reconstructive Rounding）は、訓練後量子化手法の一つであり、量子化区間の中点付近にある重みを量子化する際に、標準的な最近傍丸め（RTN）方式に内在する中点の曖昧性に対処する。事前学習済みのLLMから出発し、ReRoundは条件付き拡散モデルを訓練して、LLMの低ビット重みの連続的な再構成を生成する。これらの再構成された重みは、区間中点付近に位置する重みの丸め方向の曖昧性を解消するためのガイダンス信号として機能する。この再構成誘導型丸めを従来のRTNと統合するため、ReRoundは許容度メトリックを導入する。これは、最終的な量子化整数ではなく量子化された重みが、中点からどれだけ離れているかを測定する。中点周辺の許容領域内にある量子化重みは拡散モデルベースの再構成を用いて量子化され、量子化境界に近い重みはRTNで量子化される。許容度パラメータを走査することにより、ReRoundは複数の候補となる量子化整数重み行列を生成し、その中から、主要な特異値が元の全精度重みのものと最もよく一致する逆量子化重み行列の候補を選択する。この選択された候補によって、ReRoundが使用する許容度パラメータが決定される。 ReRoundは特に小規模なLLMに対して効果的である。そのようなモデル群において、3ビットおよび4ビットの重み量子化で標準的なRTNを一貫して上回る。ReRoundは、広範なキャリブレーション不要手法群と比較して優れた精度を達成し、キャリブレーション依存手法と競争力のある精度を維持し、完全にオフラインで動作するため、低ビット推論時に追加のオーバーヘッドを導入しない。 ReRound戦略は、低ビット量子化に対する新しいアプローチを表している。この手法はLLMを超えたAIモデルにも適用可能である。本論文では、その小規模LLMへの応用に焦点を当てる。

English

ReRound (Reconstructive Rounding) is a post-training quantization method that addresses the midpoint ambiguity inherent in standard round-to-nearest (RTN) schemes when quantizing weights near the centers of quantization intervals. Starting from a pretrained LLM, ReRound trains a conditional diffusion model to produce continuous reconstructions of low-bit weights for the LLM. These reconstructed weights act as a guidance signal to disambiguate the rounding direction of weights located close to interval midpoints. To integrate this reconstruction-guided rounding with conventional RTN, ReRound introduces a tolerance metric measuring how far the quantized weight (not the final quantized integer) is away from the midpoint: quantized weights within a tolerance region around midpoints are quantized using diffusion-based reconstructions, whereas weights closer to quantization boundaries are quantized with RTN. By sweeping the tolerance parameter, ReRound generates multiple candidate quantized integer weight matrices and selects the de-quantized weight matrix candidate whose leading singular values most closely match those of the original full-precision weights. This selected candidate determines the tolerance parameter ReRound uses. ReRound is particularly effective for smaller LLMs. Across a range of such models, it consistently outperforms standard RTN for 3-bit and 4-bit weight quantization. ReRound achieves superior accuracy compared to an extensive set of calibration-free methods, remains competitive with calibration-dependent approaches, and operates entirely offline, introducing no additional overhead during low-bit inference. The ReRound strategy represents a new approach for low-bit quantization. The method applies to AI models beyond LLMs. This paper focuses on its applications to small LLMs.