NanoQuant: Cuantización Eficiente por Debajo de 1 Bit para Modelos de Lenguaje Grandes

NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models

February 6, 2026

Autores: Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi

cs.AI

Resumen

La cuantización solo de pesos se ha convertido en un enfoque estándar para servir eficientemente grandes modelos de lenguaje (LLMs). Sin embargo, los métodos existentes no logran comprimir modelos eficazmente a niveles binarios (1 bit), ya que requieren grandes cantidades de datos y capacidad de cómputo o incurren en almacenamiento adicional. En este trabajo, proponemos NanoQuant, el primer método de cuantización posterior al entrenamiento (PTQ) para comprimir LLMs tanto a niveles binarios como a niveles inferiores a 1 bit. NanoQuant formula la cuantización como un problema de factorización binaria de bajo rango, y comprime los pesos de precisión completa en matrices binarias de bajo rango y escalas. Específicamente, utiliza un método eficiente de multiplicadores de dirección alterna (ADMM) para inicializar con precisión matrices binarias latentes y escalas, y luego ajusta los parámetros inicializados mediante un proceso de reconstrucción por bloques y del modelo. En consecuencia, NanoQuant establece una nueva frontera de Pareto en la cuantización posterior al entrenamiento de baja memoria, logrando una precisión de vanguardia incluso con tasas de compresión inferiores a 1 bit. NanoQuant hace viable el despliegue a gran escala en hardware de consumo. Por ejemplo, comprime Llama2-70B en 25.8 veces en solo 13 horas en una sola H100, permitiendo que un modelo de 70B opere en una GPU de consumo de 8 GB.

English

Weight-only quantization has become a standard approach for efficiently serving large language models (LLMs). However, existing methods fail to efficiently compress models to binary (1-bit) levels, as they either require large amounts of data and compute or incur additional storage. In this work, we propose NanoQuant, the first post-training quantization (PTQ) method to compress LLMs to both binary and sub-1-bit levels. NanoQuant formulates quantization as a low-rank binary factorization problem, and compresses full-precision weights to low-rank binary matrices and scales. Specifically, it utilizes an efficient alternating direction method of multipliers (ADMM) method to precisely initialize latent binary matrices and scales, and then tune the initialized parameters through a block and model reconstruction process. Consequently, NanoQuant establishes a new Pareto frontier in low-memory post-training quantization, achieving state-of-the-art accuracy even at sub-1-bit compression rates. NanoQuant makes large-scale deployment feasible on consumer hardware. For example, it compresses Llama2-70B by 25.8times in just 13 hours on a single H100, enabling a 70B model to operate on a consumer 8 GB GPU.