BPDQ : Quantification par décomposition en plans binaires sur une grille variable pour les grands modèles de langage

BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models

February 4, 2026

papers.authors: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

cs.AI

papers.abstract

L'inférence des grands modèles de langage (LLM) est souvent limitée par l'empreinte mémoire et la bande passante mémoire dans les déploiements à ressources contraintes, faisant de la quantification une technique fondamentale pour un service efficace. Si la quantification après entraînement (PTQ) maintient une haute fidélité sur 4 bits, elle se dégrade sur 2-3 bits. Fondamentalement, les méthodes existantes imposent une grille de quantification invariante en forme (par exemple, les intervalles uniformes fixes de UINT2) pour chaque groupe, restreignant sévèrement l'ensemble des solutions réalisables pour la minimisation de l'erreur. Pour résoudre ce problème, nous proposons la Quantification par Décomposition en Plan de Bits (BPDQ), qui construit une grille de quantification variable via des plans de bits et des coefficients scalaires, et les affine itérativement en utilisant une information de second ordre approximative tout en compensant progressivement les erreurs de quantification pour minimiser l'écart en sortie. Dans le régime 2 bits, BPDQ permet d'utiliser Qwen2.5-72B sur une seule RTX 3090 avec une précision GSM8K de 83,85 % (contre 90,83 % en 16 bits). De plus, nous fournissons une analyse théorique montrant que la grille variable étend l'ensemble des solutions réalisables, et que le processus de quantification s'aligne systématiquement avec l'objectif d'optimisation dans la géométrie induite par le Hessien. Code : github.com/KingdalfGoodman/BPDQ.

English

Large language model (LLM) inference is often bounded by memory footprint and memory bandwidth in resource-constrained deployments, making quantization a fundamental technique for efficient serving. While post-training quantization (PTQ) maintains high fidelity at 4-bit, it deteriorates at 2-3 bits. Fundamentally, existing methods enforce a shape-invariant quantization grid (e.g., the fixed uniform intervals of UINT2) for each group, severely restricting the feasible set for error minimization. To address this, we propose Bit-Plane Decomposition Quantization (BPDQ), which constructs a variable quantization grid via bit-planes and scalar coefficients, and iteratively refines them using approximate second-order information while progressively compensating quantization errors to minimize output discrepancy. In the 2-bit regime, BPDQ enables serving Qwen2.5-72B on a single RTX 3090 with 83.85% GSM8K accuracy (vs. 90.83% at 16-bit). Moreover, we provide theoretical analysis showing that the variable grid expands the feasible set, and that the quantization process consistently aligns with the optimization objective in Hessian-induced geometry. Code: github.com/KingdalfGoodman/BPDQ.