Fairy2i: 実LLMから全パラメータを{±1, ±i}で構成した複素LLMの学習

要旨

大規模言語モデル（LLM）は人工知能に革命をもたらしたが、その膨大なメモリと計算需要は積極的な量子化を必要とし、表現を1ビットという理論限界に向けて急速に押しやっている。iFairyのような複素数値LLMは、実数値モデルに比べて低ビット表現において優れた可能性を提供するが、スクラッチからの学習を必要とするため、事前学習済み実数値基盤モデルの広大なエコシステムの活用を妨げている。本論文ではFairy2iを提案する。これは事前学習済みの実数値層を等価な広義線形複素数形式に変換し、既存のチェックポイントを再利用しながら極端な低ビット量子化を可能とする普遍的なフレームワークである。実数写像と広義線形写像の間のロスレスな数学的等価性を証明することにより、標準的なTransformerを複素領域に変換し、4乗根からなる高効率なコードブックを用いた位相考慮型量子化スキームを採用する。さらに、量子化誤差を反復的に最小化する再帰的残余量子化機構を導入し、効率的な乗算不要の累積による推論を実現する。Fairy2iが、LLaMA-2 7Bの性能を実効2ビット精度においてフル精度ベースラインにほぼ匹敵する水準まで回復させ、最先端の実数値2値・3値量子化手法を大幅に上回ることを実証する。本研究は、複素数値演算の表現効率と事前学習モデルの実用性の間のギャップを埋め、市販ハードウェアにおける効率的な推論への新たな道を開くものである。

English

Large language models (LLMs) have revolutionized artificial intelligence, yet their massive memory and computational demands necessitate aggressive quantization, increasingly pushing representations toward the theoretical limit of a single bit. While complex-valued LLMs, such as iFairy, offer a superior chance for low-bit representation compared to real-valued counterparts, they require training from scratch, preventing the utilization of the vast ecosystem of pre-trained real-valued foundation models. Here we present Fairy2i, a universal framework that transforms pre-trained real-valued layers into an equivalent widely-linear complex form, enabling extremely low-bit quantization while reusing existing checkpoints. By proving a lossless mathematical equivalence between real and widely-linear maps, we convert standard Transformers into the complex domain and employ a phase-aware quantization scheme with a highly efficient codebook of fourth roots of unity. Furthermore, we introduce a recursive residual quantization mechanism that iteratively minimizes quantization error, allowing inference to proceed via efficient multiplication-free accumulation. We demonstrate that Fairy2i restores the performance of LLaMA-2 7B at an effective 2-bit precision to levels nearly comparable with full-precision baselines, significantly outperforming state-of-the-art real-valued binary and ternary quantization methods. This work bridges the gap between the representational efficiency of complex-valued arithmetic and the practical utility of pre-trained models, paving a new way for efficient inference on commodity hardware.

Fairy2i: 実LLMから全パラメータを{±1, ±i}で構成した複素LLMの学習

Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in {pm 1, pm i}

要旨

Support