La Geometria della Quantizzazione degli LLM: GPTQ come Algoritmo del Piano Più Vicino di Babai

The Geometry of LLM Quantization: GPTQ as Babai's Nearest Plane Algorithm

July 24, 2025

Autori: Jiale Chen, Torsten Hoefler, Dan Alistarh

cs.AI

Abstract

La quantizzazione dei pesi dei grandi modelli linguistici (LLM) da 16 bit a una larghezza di bit inferiore è l'approccio di fatto per distribuire trasformatori di grandi dimensioni su acceleratori più economici. GPTQ è emerso come uno dei metodi standard per la quantizzazione post-addestramento one-shot su scala LLM. Tuttavia, il suo funzionamento interno è descritto come una sequenza di aggiornamenti algebrici ad hoc che oscurano qualsiasi significato geometrico o garanzia nel caso peggiore. In questo lavoro, dimostriamo che, quando eseguito in ordine inverso (dall'ultima alla prima dimensione) per un livello lineare, GPTQ è matematicamente identico all'algoritmo del piano più vicino di Babai per il classico problema del vettore più vicino (CVP) su un reticolo definito dalla matrice Hessiana degli input del livello. Questa equivalenza si basa su un argomento matematico sofisticato e ha due conseguenze analitiche: (i) il passo di propagazione dell'errore di GPTQ acquisisce un'interpretazione geometrica intuitiva; (ii) GPTQ eredita il limite superiore dell'errore dell'algoritmo di Babai sotto la condizione di non-clipping. Nel complesso, questi risultati pongono GPTQ su solide basi teoriche e aprono la porta all'importazione di decenni di progressi negli algoritmi di reticolo verso la progettazione di futuri algoritmi di quantizzazione per modelli con miliardi di parametri.

English

Quantizing the weights of large language models (LLMs) from 16-bit to lower bitwidth is the de facto approach to deploy massive transformers onto more affordable accelerators. GPTQ emerged as one of the standard methods for one-shot post-training quantization at LLM scale. Yet, its inner workings are described as a sequence of ad-hoc algebraic updates that obscure any geometric meaning or worst-case guarantees. In this work, we show that, when executed back-to-front (from the last to first dimension) for a linear layer, GPTQ is mathematically identical to Babai's nearest plane algorithm for the classical closest vector problem (CVP) on a lattice defined by the Hessian matrix of the layer's inputs. This equivalence is based on a sophisticated mathematical argument, and has two analytical consequences: (i) the GPTQ error propagation step gains an intuitive geometric interpretation; (ii) GPTQ inherits the error upper bound of Babai's algorithm under the no-clipping condition. Taken together, these results place GPTQ on firm theoretical footing and open the door to importing decades of progress in lattice algorithms towards the design of future quantization algorithms for billion-parameter models.