SINQ: Quantizzazione Normalizzata con Sinkhorn per Pesi a Bassa Precisione in LLM Senza Calibrazione

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

September 26, 2025

Autori: Lorenz K. Müller, Philippe Bich, Jiawei Zhuang, Ahmet Çelik, Luca Benfenati, Lukas Cavigelli

cs.AI

Abstract

La quantizzazione post-addestramento è emersa come la strategia più ampiamente utilizzata per il deployment di modelli linguistici di grandi dimensioni a bassa precisione. Tuttavia, i metodi attuali mostrano un degrado della perplessità a larghezze di bit inferiori o uguali a 4, in parte perché la rappresentazione di valori anomali causa problemi di precisione nei parametri che condividono le stesse scale di questi valori anomali. Questo problema è particolarmente pronunciato per i metodi di quantizzazione uniforme senza calibrazione. Introduciamo SINQ per potenziare i quantizzatori post-addestramento esistenti con un ulteriore fattore di scala sull'asse secondario e un algoritmo veloce di tipo Sinkhorn-Knopp che trova le scale per normalizzare le varianze per riga e per colonna, minimizzando così un nuovo obiettivo proxy per la quantizzazione a livello di matrice: lo squilibrio della matrice. Il nostro metodo non prevede interazioni tra i livelli e può essere applicato in modo banale a nuove architetture per quantizzare qualsiasi livello lineare. Valutiamo il nostro metodo sulla famiglia di modelli Qwen3 e su DeepSeek-V2.5. SINQ migliora significativamente la perplessità su WikiText2 e C4 rispetto ai baseline di quantizzazione uniforme non calibrata e può essere ulteriormente potenziato combinandolo con la calibrazione e livelli di quantizzazione non uniformi. Il codice per riprodurre i risultati di questo lavoro e per quantizzare facilmente i modelli utilizzando SINQ è disponibile all'indirizzo https://github.com/huawei-csl/SINQ.

English

Post-training quantization has emerged as the most widely used strategy for deploying large language models at low precision. Still, current methods show perplexity degradation at bit-widths less than or equal to 4, partly because representing outliers causes precision issues in parameters that share the same scales as these outliers. This problem is especially pronounced for calibration-free, uniform quantization methods. We introduce SINQ to augment existing post-training quantizers with an additional second-axis scale factor and a fast Sinkhorn-Knopp-style algorithm that finds scales to normalize per-row and per-column variances, thereby minimizing a novel per-matrix proxy target for quantization: the matrix imbalance. Our method has no interactions between layers and can be trivially applied to new architectures to quantize any linear layers. We evaluate our method on the Qwen3 model family and DeepSeek-V2.5. SINQ improves WikiText2 and C4 perplexity significantly against uncalibrated uniform quantization baselines and can be further enhanced by combining it with calibration and non-uniform quantization levels. Code to reproduce the results of this work and to easily quantize models using SINQ is available at https://github.com/huawei-csl/SINQ.