BPDQ: Bit-Ebenen-Zerlegungsquantisierung auf einem variablen Gitter für große Sprachmodelle
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models
February 4, 2026
papers.authors: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong
cs.AI
papers.abstract
Die Inferenz großer Sprachmodelle (LLM) ist in ressourcenbeschränkten Umgebungen oft durch den Speicherbedarf und die Speicherbandbreite begrenzt, was die Quantisierung zu einer grundlegenden Technik für effizientes Bereitstellen macht. Während die Quantisierung nach dem Training (PTQ) bei 4 Bit eine hohe Genauigkeit beibehält, verschlechtert sie sich bei 2-3 Bit. Grundsätzlich erzwingen bestehende Methoden ein forminvariantes Quantisierungsgitter (z.B. die festen gleichmäßigen Intervalle von UINT2) für jede Gruppe, was den zulässigen Lösungsraum für die Fehlerminimierung stark einschränkt. Um dies zu adressieren, schlagen wir Bit-Plane Decomposition Quantization (BPDQ) vor, das ein variables Quantisierungsgitter über Bit-Ebenen und Skalarkoeffizienten konstruiert und diese unter Verwendung approximativer Informationen zweiter Ordnung iterativ verfeinert, während Quantisierungsfehler progressiv kompensiert werden, um die Ausgabeabweichung zu minimieren. Im 2-Bit-Bereich ermöglicht BPDQ das Bereitstellen von Qwen2.5-72B auf einer einzelnen RTX 3090 mit 83,85 % GSM8K-Genauigkeit (vs. 90,83 % bei 16-Bit). Darüber hinaus liefern wir eine theoretische Analyse, die zeigt, dass das variable Gitter den zulässigen Lösungsraum erweitert und dass der Quantisierungsprozess konsistent mit dem Optimierungsziel in der hessian-induzierten Geometrie ausgerichtet ist. Code: github.com/KingdalfGoodman/BPDQ.
English
Large language model (LLM) inference is often bounded by memory footprint and memory bandwidth in resource-constrained deployments, making quantization a fundamental technique for efficient serving. While post-training quantization (PTQ) maintains high fidelity at 4-bit, it deteriorates at 2-3 bits. Fundamentally, existing methods enforce a shape-invariant quantization grid (e.g., the fixed uniform intervals of UINT2) for each group, severely restricting the feasible set for error minimization. To address this, we propose Bit-Plane Decomposition Quantization (BPDQ), which constructs a variable quantization grid via bit-planes and scalar coefficients, and iteratively refines them using approximate second-order information while progressively compensating quantization errors to minimize output discrepancy. In the 2-bit regime, BPDQ enables serving Qwen2.5-72B on a single RTX 3090 with 83.85% GSM8K accuracy (vs. 90.83% at 16-bit). Moreover, we provide theoretical analysis showing that the variable grid expands the feasible set, and that the quantization process consistently aligns with the optimization objective in Hessian-induced geometry. Code: github.com/KingdalfGoodman/BPDQ.