SQS: スパース量子化部分分布によるベイズDNN圧縮

要旨

大規模ニューラルネットワークの圧縮は、リソース制約のあるデバイスにモデルを配備する上で不可欠である。既存手法の多くは重み枝刈りまたは低ビット量子化を個別に採用しており、許容可能な性能低下を保つためには、しばしば最適とは言えない圧縮率にとどまる。我々は、ベイズ変分学習（\method）による枝刈りと低ビット量子化の同時実行のための統合フレームワークを導入し、同等の性能を維持しつつ、従来のベースラインよりも高い圧縮率を達成する。鍵となるアイデアは、スパイク・アンド・スラブ事前分布を用いて疎性を誘導し、量子化重みをガウス混合モデル（GMM）でモデル化して低ビット精度を可能にすることである。スパイク・アンド・スラブ事前分布とGMMを含む目的関数は扱いにくいため、最小限の精度損失で効果的な圧縮を可能にする効率的な近似を導出する。理論的には、疎かつ量子化された深層ニューラルネットワークに対する提案する変分アプローチについて、一致性を示す結果を与える。ResNet、BERT-base、Llama3.2、Qwen2.5モデルの圧縮に関する広範な実験により、我々の手法は、同等の性能低下のもとで一連の既存手法よりも高い圧縮率を達成することが示される。プロジェクトページ: https://comeusr.github.io/SQS_Webpage.

English

Compressing large-scale neural networks is essential for deploying models on resource-constrained devices. Most existing methods adopt weight pruning or low-bit quantization individually, often resulting in suboptimal compression rates to preserve acceptable performance drops. We introduce a unified framework for simultaneous pruning and low-bit quantization via Bayesian variational learning (\method), which achieves higher compression rates than prior baselines while maintaining comparable performance. The key idea is to employ a spike-and-slab prior to induce sparsity and model quantized weights using Gaussian Mixture Models (GMMs) to enable low-bit precision. Due to the intractability of the objective involving spike-and-slab priors with GMMs, we derive an efficient approximation that facilitates effective compression with minimal accuracy loss. In theory, we provide a consistent result for our proposed variational approach to a sparse and quantized deep neural network. Extensive experiments on compressing ResNet, BERT-base, Llama3.2, and Qwen2.5 models show that our method achieves higher compression rates than a line of existing methods with comparable performance drops. Project page: https://comeusr.github.io/SQS_Webpage.