De Geometrie van LLM-kwantisering: GPTQ als Babai's Nearest Plane-algoritme

The Geometry of LLM Quantization: GPTQ as Babai's Nearest Plane Algorithm

July 24, 2025

Auteurs: Jiale Chen, Torsten Hoefler, Dan Alistarh

cs.AI

Samenvatting

Het kwantiseren van de gewichten van grote taalmodellen (LLMs) van 16-bit naar een lagere bitbreedte is de facto de aanpak om massieve transformers op betaalbare accelerators te implementeren. GPTQ is naar voren gekomen als een van de standaardmethoden voor one-shot post-training kwantisatie op LLM-schaal. Echter, de interne werking ervan wordt beschreven als een reeks ad-hoc algebraïsche updates die elke geometrische betekenis of garanties voor het slechtste geval verhullen. In dit werk tonen we aan dat, wanneer GPTQ van achter naar voren (van de laatste naar de eerste dimensie) wordt uitgevoerd voor een lineaire laag, het wiskundig identiek is aan Babai's nearest plane-algoritme voor het klassieke closest vector problem (CVP) op een rooster gedefinieerd door de Hessiaanmatrix van de invoer van de laag. Deze equivalentie is gebaseerd op een geavanceerd wiskundig argument en heeft twee analytische gevolgen: (i) de foutpropagatiestap van GPTQ krijgt een intuïtieve geometrische interpretatie; (ii) GPTQ erft de foutbovengrens van Babai's algoritme onder de no-clipping conditie. Samen genomen plaatsen deze resultaten GPTQ op een stevig theoretisch fundament en openen ze de deur om decennia van vooruitgang in roosteralgoritmen te importeren voor het ontwerpen van toekomstige kwantisatiealgoritmen voor modellen met miljarden parameters.

English

Quantizing the weights of large language models (LLMs) from 16-bit to lower bitwidth is the de facto approach to deploy massive transformers onto more affordable accelerators. GPTQ emerged as one of the standard methods for one-shot post-training quantization at LLM scale. Yet, its inner workings are described as a sequence of ad-hoc algebraic updates that obscure any geometric meaning or worst-case guarantees. In this work, we show that, when executed back-to-front (from the last to first dimension) for a linear layer, GPTQ is mathematically identical to Babai's nearest plane algorithm for the classical closest vector problem (CVP) on a lattice defined by the Hessian matrix of the layer's inputs. This equivalence is based on a sophisticated mathematical argument, and has two analytical consequences: (i) the GPTQ error propagation step gains an intuitive geometric interpretation; (ii) GPTQ inherits the error upper bound of Babai's algorithm under the no-clipping condition. Taken together, these results place GPTQ on firm theoretical footing and open the door to importing decades of progress in lattice algorithms towards the design of future quantization algorithms for billion-parameter models.