NanoQuant : Quantification efficace inférieure à 1 bit pour les grands modèles de langage

NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models

February 6, 2026

papers.authors: Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi

cs.AI

papers.abstract

La quantification par poids uniquement est devenue une approche standard pour servir efficacement les grands modèles de langage (LLM). Cependant, les méthodes existantes échouent à compresser efficacement les modèles jusqu'aux niveaux binaires (1-bit), car elles nécessitent soit de grandes quantités de données et de calcul, soit entraînent un stockage supplémentaire. Dans ce travail, nous proposons NanoQuant, la première méthode de quantification post-entraînement (PTQ) capable de compresser les LLM à la fois aux niveaux binaires et inférieurs à 1-bit. NanoQuant formule la quantification comme un problème de factorisation binaire de faible rang, et compresse les poids en pleine précision en matrices binaires de faible rang et en facteurs d'échelle. Plus précisément, elle utilise une méthode efficace de direction alternée des multiplicateurs (ADMM) pour initialiser précisément des matrices binaires latentes et les facteurs d'échelle, puis affine les paramètres initialisés via un processus de reconstruction par blocs et du modèle. Par conséquent, NanoQuant établit une nouvelle frontière de Pareto dans la quantification post-entraînement à faible mémoire, atteignant une précision de pointe même à des taux de compression inférieurs à 1-bit. NanoQuant rend le déploiement à grande échelle réalisable sur du matériel grand public. Par exemple, il compresse Llama2-70B par un facteur de 25,8 en seulement 13 heures sur un seul H100, permettant à un modèle de 70B de fonctionner sur un GPU grand public de 8 Go.

English

Weight-only quantization has become a standard approach for efficiently serving large language models (LLMs). However, existing methods fail to efficiently compress models to binary (1-bit) levels, as they either require large amounts of data and compute or incur additional storage. In this work, we propose NanoQuant, the first post-training quantization (PTQ) method to compress LLMs to both binary and sub-1-bit levels. NanoQuant formulates quantization as a low-rank binary factorization problem, and compresses full-precision weights to low-rank binary matrices and scales. Specifically, it utilizes an efficient alternating direction method of multipliers (ADMM) method to precisely initialize latent binary matrices and scales, and then tune the initialized parameters through a block and model reconstruction process. Consequently, NanoQuant establishes a new Pareto frontier in low-memory post-training quantization, achieving state-of-the-art accuracy even at sub-1-bit compression rates. NanoQuant makes large-scale deployment feasible on consumer hardware. For example, it compresses Llama2-70B by 25.8times in just 13 hours on a single H100, enabling a 70B model to operate on a consumer 8 GB GPU.