NanoQuant: Efficiënte sub-1-bit kwantisatie van grote taalmodel(len)

NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models

February 6, 2026

Auteurs: Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi

cs.AI

Samenvatting

Gewichtsgebaseerde kwantisatie is inmiddels een standaardaanpak geworden voor het efficiënt inzetten van grote taalmmodellen (LLM's). Bestaande methoden slagen er echter niet in om modellen efficiënt te comprimeren tot binaire (1-bit) niveaus, omdat ze ofwel grote hoeveelheden data en rekenkracht vereisen, ofwel extra opslagruimte vergen. In dit werk stellen we NanoQuant voor, de eerste post-training kwantisatie (PTQ)-methode die LLM's comprimeert tot zowel binaire als sub-1-bit niveaus. NanoQuant formuleert kwantisatie als een low-rank binaire factorisatieprobleem, en comprimeert full-precision gewichten naar low-rank binaire matrices en schaalfactoren. Concreet maakt het gebruik van een efficiënte 'alternating direction method of multipliers' (ADMM)-methode om latentie binaire matrices en schaalfactoren nauwkeurig te initialiseren, en vervolgens de geïnitialiseerde parameters af te stemmen via een blok- en modelreconstructieproces. Hierdoor vestigt NanoQuant een nieuwe Pareto-grens in post-training kwantisatie met weinig geheugen, en behaalt het state-of-the-art nauwkeurigheid zelfs bij sub-1-bit compressieverhoudingen. NanoQuant maakt grootschalige implementatie op consumentenhardware haalbaar. Zo comprimeert het bijvoorbeeld Llama2-70B met een factor 25,8 in slechts 13 uur op een enkele H100, waardoor een 70B-model kan draaien op een consumenten-GPU met 8 GB geheugen.

English

Weight-only quantization has become a standard approach for efficiently serving large language models (LLMs). However, existing methods fail to efficiently compress models to binary (1-bit) levels, as they either require large amounts of data and compute or incur additional storage. In this work, we propose NanoQuant, the first post-training quantization (PTQ) method to compress LLMs to both binary and sub-1-bit levels. NanoQuant formulates quantization as a low-rank binary factorization problem, and compresses full-precision weights to low-rank binary matrices and scales. Specifically, it utilizes an efficient alternating direction method of multipliers (ADMM) method to precisely initialize latent binary matrices and scales, and then tune the initialized parameters through a block and model reconstruction process. Consequently, NanoQuant establishes a new Pareto frontier in low-memory post-training quantization, achieving state-of-the-art accuracy even at sub-1-bit compression rates. NanoQuant makes large-scale deployment feasible on consumer hardware. For example, it compresses Llama2-70B by 25.8times in just 13 hours on a single H100, enabling a 70B model to operate on a consumer 8 GB GPU.