La géométrie de la quantification des LLM : GPTQ en tant qu'algorithme du plan le plus proche de Babai

The Geometry of LLM Quantization: GPTQ as Babai's Nearest Plane Algorithm

July 24, 2025

papers.authors: Jiale Chen, Torsten Hoefler, Dan Alistarh

cs.AI

papers.abstract

La quantification des poids des grands modèles de langage (LLMs) de 16 bits vers des largeurs de bits inférieures est l'approche de facto pour déployer des transformateurs massifs sur des accélérateurs plus abordables. GPTQ s'est imposé comme l'une des méthodes standard pour la quantification post-entraînement en une seule étape à l'échelle des LLMs. Cependant, son fonctionnement interne est décrit comme une séquence de mises à jour algébriques ad hoc qui obscurcissent toute signification géométrique ou garantie dans le pire des cas. Dans ce travail, nous montrons que, lorsqu'il est exécuté de l'arrière vers l'avant (de la dernière à la première dimension) pour une couche linéaire, GPTQ est mathématiquement identique à l'algorithme du plan le plus proche de Babai pour le problème classique du vecteur le plus proche (CVP) sur un réseau défini par la matrice hessienne des entrées de la couche. Cette équivalence repose sur un argument mathématique sophistiqué et a deux conséquences analytiques : (i) l'étape de propagation d'erreur de GPTQ acquiert une interprétation géométrique intuitive ; (ii) GPTQ hérite de la borne supérieure d'erreur de l'algorithme de Babai sous la condition de non-écrêtage. Pris ensemble, ces résultats placent GPTQ sur des bases théoriques solides et ouvrent la voie à l'importation de décennies de progrès dans les algorithmes de réseaux pour la conception de futurs algorithmes de quantification pour des modèles à milliards de paramètres.

English

Quantizing the weights of large language models (LLMs) from 16-bit to lower bitwidth is the de facto approach to deploy massive transformers onto more affordable accelerators. GPTQ emerged as one of the standard methods for one-shot post-training quantization at LLM scale. Yet, its inner workings are described as a sequence of ad-hoc algebraic updates that obscure any geometric meaning or worst-case guarantees. In this work, we show that, when executed back-to-front (from the last to first dimension) for a linear layer, GPTQ is mathematically identical to Babai's nearest plane algorithm for the classical closest vector problem (CVP) on a lattice defined by the Hessian matrix of the layer's inputs. This equivalence is based on a sophisticated mathematical argument, and has two analytical consequences: (i) the GPTQ error propagation step gains an intuitive geometric interpretation; (ii) GPTQ inherits the error upper bound of Babai's algorithm under the no-clipping condition. Taken together, these results place GPTQ on firm theoretical footing and open the door to importing decades of progress in lattice algorithms towards the design of future quantization algorithms for billion-parameter models.