BPDQ: Cuantificación por Descomposición de Planos de Bits en una Malla Variable para Modelos de Lenguaje a Gran Escala

BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models

February 4, 2026

Autores: Junyu Chen, Jungang Li, Jing Xiong, Wenjie Wang, Qingyao Yang, He Xiao, Zhen Li, Taiqiang Wu, Mengzhao Chen, Zhen Peng, Chaofan Tao, Long Shi, Hongxia Yang, Ngai Wong

cs.AI

Resumen

La inferencia de modelos de lenguaje grandes (LLM) a menudo está limitada por la huella de memoria y el ancho de banda de memoria en implementaciones con recursos restringidos, lo que convierte a la cuantización en una técnica fundamental para un servicio eficiente. Si bien la cuantización posterior al entrenamiento (PTQ) mantiene una alta fidelidad a 4 bits, se deteriora a 2-3 bits. Fundamentalmente, los métodos existentes imponen una cuadrícula de cuantización invariante en forma (por ejemplo, los intervalos uniformes fijos de UINT2) para cada grupo, restringiendo severamente el conjunto factible para la minimización del error. Para abordar esto, proponemos la Cuantización por Descomposición en Planos de Bits (BPDQ), que construye una cuadrícula de cuantización variable mediante planos de bits y coeficientes escalares, y los refina iterativamente utilizando información de segundo orden aproximada mientras compensa progresivamente los errores de cuantización para minimizar la discrepancia en la salida. En el régimen de 2 bits, BPDQ permite servir Qwen2.5-72B en una sola RTX 3090 con un 83.85% de precisión en GSM8K (frente al 90.83% a 16 bits). Además, proporcionamos un análisis teórico que muestra que la cuadrícula variable expande el conjunto factible, y que el proceso de cuantización se alinea consistentemente con el objetivo de optimización en la geometría inducida por el Hessiano. Código: github.com/KingdalfGoodman/BPDQ.

English

Large language model (LLM) inference is often bounded by memory footprint and memory bandwidth in resource-constrained deployments, making quantization a fundamental technique for efficient serving. While post-training quantization (PTQ) maintains high fidelity at 4-bit, it deteriorates at 2-3 bits. Fundamentally, existing methods enforce a shape-invariant quantization grid (e.g., the fixed uniform intervals of UINT2) for each group, severely restricting the feasible set for error minimization. To address this, we propose Bit-Plane Decomposition Quantization (BPDQ), which constructs a variable quantization grid via bit-planes and scalar coefficients, and iteratively refines them using approximate second-order information while progressively compensating quantization errors to minimize output discrepancy. In the 2-bit regime, BPDQ enables serving Qwen2.5-72B on a single RTX 3090 with 83.85% GSM8K accuracy (vs. 90.83% at 16-bit). Moreover, we provide theoretical analysis showing that the variable grid expands the feasible set, and that the quantization process consistently aligns with the optimization objective in Hessian-induced geometry. Code: github.com/KingdalfGoodman/BPDQ.