SINQ: Sinkhorn-normalisierte Quantierung für kalibrierungsfreie Niedrigpräzisions-Gewichte von LLM

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

September 26, 2025

papers.authors: Lorenz K. Müller, Philippe Bich, Jiawei Zhuang, Ahmet Çelik, Luca Benfenati, Lukas Cavigelli

cs.AI

papers.abstract

Post-Training-Quantisierung hat sich als die am weitesten verbreitete Strategie für die Bereitstellung großer Sprachmodelle mit niedriger Präzision etabliert. Dennoch zeigen aktuelle Methoden eine Verschlechterung der Perplexität bei Bitbreiten von weniger oder gleich 4, teilweise weil die Darstellung von Ausreißern Präzisionsprobleme in Parametern verursacht, die dieselben Skalierungen wie diese Ausreißer aufweisen. Dieses Problem ist besonders ausgeprägt bei kalibrationsfreien, uniformen Quantisierungsmethoden. Wir stellen SINQ vor, um bestehende Post-Training-Quantisierer mit einem zusätzlichen Skalierungsfaktor auf der zweiten Achse und einem schnellen Sinkhorn-Knopp-ähnlichen Algorithmus zu erweitern, der Skalierungen findet, um die Varianzen pro Zeile und pro Spalte zu normalisieren und dadurch ein neuartiges Proxy-Ziel für die Quantisierung zu minimieren: das Matrix-Ungleichgewicht. Unsere Methode weist keine Interaktionen zwischen Schichten auf und kann trivial auf neue Architekturen angewendet werden, um beliebige lineare Schichten zu quantisieren. Wir evaluieren unsere Methode anhand der Qwen3-Modellfamilie und DeepSeek-V2.5. SINQ verbessert die Perplexität auf WikiText2 und C4 signifikant im Vergleich zu unkalibrierten uniformen Quantisierungs-Baselines und kann weiter verbessert werden, indem es mit Kalibrierung und nicht-uniformen Quantisierungsstufen kombiniert wird. Der Code zur Reproduktion der Ergebnisse dieser Arbeit und zur einfachen Quantisierung von Modellen mit SINQ ist verfügbar unter https://github.com/huawei-csl/SINQ.

English

Post-training quantization has emerged as the most widely used strategy for deploying large language models at low precision. Still, current methods show perplexity degradation at bit-widths less than or equal to 4, partly because representing outliers causes precision issues in parameters that share the same scales as these outliers. This problem is especially pronounced for calibration-free, uniform quantization methods. We introduce SINQ to augment existing post-training quantizers with an additional second-axis scale factor and a fast Sinkhorn-Knopp-style algorithm that finds scales to normalize per-row and per-column variances, thereby minimizing a novel per-matrix proxy target for quantization: the matrix imbalance. Our method has no interactions between layers and can be trivially applied to new architectures to quantize any linear layers. We evaluate our method on the Qwen3 model family and DeepSeek-V2.5. SINQ improves WikiText2 and C4 perplexity significantly against uncalibrated uniform quantization baselines and can be further enhanced by combining it with calibration and non-uniform quantization levels. Code to reproduce the results of this work and to easily quantize models using SINQ is available at https://github.com/huawei-csl/SINQ.