Sparse-BitNet: 1.58ビット大規模言語モデルは半構造化スパース性に本質的に親和性がある

要旨

半構造化N:Mスパース性と低ビット量子化（例：1.58ビットBitNet）は、大規模言語モデル（LLM）の効率化を図る上で有望な二つの手法であるが、これまで個別に研究されることがほとんどであった。本研究では、これらの相互作用を調査し、1.58ビットBitNetが、フル精度モデルと比較してN:Mスパース性と自然に高い互換性を持つことを示す。この効果を検証するため、我々はSparse-BitNetを提案する。これは、1.58ビット量子化と動的N:Mスパース化を統合的に適用し、かつ初めて安定した訓練を実現するフレームワークである。様々なモデル規模と訓練方式（スパース事前学習および密からスパースへの段階的適用）において、1.58ビットBitNetは、同じスパース性レベルにおいてフル精度ベースラインよりも一貫して性能劣化が小さく、精度が急落する前に高い構造化スパース性を許容できる。さらに、カスタム設計したスパーステンソルコアを利用することで、Sparse-BitNetは訓練と推論の両方で実質的な高速化を達成し、最大1.30倍に達する。これらの結果は、極低ビット量子化と半構造化N:Mスパース性の組み合わせが、効率的なLLMの実現に向けた有望な方向性であることを示唆している。コードはhttps://github.com/AAzdi/Sparse-BitNet で公開されている。

English

Semi-structured N:M sparsity and low-bit quantization (e.g., 1.58-bit BitNet) are two promising approaches for improving the efficiency of large language models (LLMs), yet they have largely been studied in isolation. In this work, we investigate their interaction and show that 1.58-bit BitNet is naturally more compatible with N:M sparsity than full-precision models. To study this effect, we propose Sparse-BitNet, a unified framework that jointly applies 1.58-bit quantization and dynamic N:M sparsification while ensuring stable training for the first time. Across multiple model scales and training regimes (sparse pretraining and dense-to-sparse schedules), 1.58-bit BitNet consistently exhibits smaller performance degradation than full-precision baselines at the same sparsity levels and can tolerate higher structured sparsity before accuracy collapse. Moreover, using our custom sparse tensor core, Sparse-BitNet achieves substantial speedups in both training and inference, reaching up to 1.30X. These results highlight that combining extremely low-bit quantization with semi-structured N:M sparsity is a promising direction for efficient LLMs. Code available at https://github.com/AAzdi/Sparse-BitNet

Sparse-BitNet: 1.58ビット大規模言語モデルは半構造化スパース性に本質的に親和性がある

Sparse-BitNet: 1.58-bit LLMs are Naturally Friendly to Semi-Structured Sparsity

要旨

Support