SQS: 희소 양자화된 하위 분포를 통한 베이지안 DNN 압축

초록

대규모 신경망의 압축은 자원이 제한된 기기에서 모델을 배포하는 데 필수적이다. 대부분의 기존 방법은 가중치 프루닝 또는 저비트 양자화를 개별적으로 채택하며, 성능 저하를 허용 가능한 수준으로 유지하기 위해 종종 최적에 못 미치는 압축률을 초래한다. 우리는 베이지안 변분 학습(\method)을 통해 프루닝과 저비트 양자화를 동시에 수행하는 통합 프레임워크를 제안하며, 이는 기존 베이스라인보다 더 높은 압축률을 달성하면서도 유사한 성능을 유지한다. 핵심 아이디어는 spike-and-slab 사전분포를 사용하여 희소성을 유도하고, 양자화된 가중치를 가우시안 혼합 모델(GMM)로 모델링하여 저비트 정밀도를 가능하게 하는 것이다. GMM과 결합된 spike-and-slab 사전분포를 포함하는 목적함수가 다루기 어렵기 때문에, 우리는 최소한의 정확도 손실로 효과적인 압축을 가능하게 하는 효율적인 근사를 도출한다. 이론적으로, 우리는 희소 및 양자화된 심층 신경망에 대한 제안된 변분 접근법의 일관성 결과를 제공한다. ResNet, BERT-base, Llama3.2, Qwen2.5 모델 압축에 대한 광범위한 실험은 우리 방법이 비교 가능한 성능 저하를 보이면서 일련의 기존 방법들보다 더 높은 압축률을 달성함을 보여준다. 프로젝트 페이지: https://comeusr.github.io/SQS_Webpage.

English

Compressing large-scale neural networks is essential for deploying models on resource-constrained devices. Most existing methods adopt weight pruning or low-bit quantization individually, often resulting in suboptimal compression rates to preserve acceptable performance drops. We introduce a unified framework for simultaneous pruning and low-bit quantization via Bayesian variational learning (\method), which achieves higher compression rates than prior baselines while maintaining comparable performance. The key idea is to employ a spike-and-slab prior to induce sparsity and model quantized weights using Gaussian Mixture Models (GMMs) to enable low-bit precision. Due to the intractability of the objective involving spike-and-slab priors with GMMs, we derive an efficient approximation that facilitates effective compression with minimal accuracy loss. In theory, we provide a consistent result for our proposed variational approach to a sparse and quantized deep neural network. Extensive experiments on compressing ResNet, BERT-base, Llama3.2, and Qwen2.5 models show that our method achieves higher compression rates than a line of existing methods with comparable performance drops. Project page: https://comeusr.github.io/SQS_Webpage.