SINQ: Sinkhorn-Genormaliseerde Kwantisatie voor Kalibratievrije Laagprecisie LLM-gewichten

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

September 26, 2025

Auteurs: Lorenz K. Müller, Philippe Bich, Jiawei Zhuang, Ahmet Çelik, Luca Benfenati, Lukas Cavigelli

cs.AI

Samenvatting

Post-training kwantisatie is uitgegroeid tot de meest gebruikte strategie voor het implementeren van grote taalmodellen met lage precisie. Toch laten huidige methoden een verslechtering van de perplexiteit zien bij bitbreedtes van 4 of minder, deels omdat het representeren van uitschieters precisieproblemen veroorzaakt in parameters die dezelfde schalen delen als deze uitschieters. Dit probleem is vooral prominent bij kalibratievrije, uniforme kwantisatiemethoden. We introduceren SINQ om bestaande post-training kwantisatoren uit te breiden met een extra schaalfactor op de tweede as en een snel Sinkhorn-Knopp-stijl algoritme dat schalen vindt om de varianties per rij en per kolom te normaliseren, waardoor een nieuw proxy-doel voor kwantisatie wordt geminimaliseerd: de matrixonbalans. Onze methode heeft geen interacties tussen lagen en kan eenvoudig worden toegepast op nieuwe architecturen om lineaire lagen te kwantiseren. We evalueren onze methode op de Qwen3-modelfamilie en DeepSeek-V2.5. SINQ verbetert de WikiText2- en C4-perplexiteit aanzienlijk ten opzichte van ongekalibreerde uniforme kwantisatie-baselines en kan verder worden verbeterd door het te combineren met kalibratie en niet-uniforme kwantisatieniveaus. Code om de resultaten van dit werk te reproduceren en om modellen eenvoudig te kwantiseren met SINQ is beschikbaar op https://github.com/huawei-csl/SINQ.

English

Post-training quantization has emerged as the most widely used strategy for deploying large language models at low precision. Still, current methods show perplexity degradation at bit-widths less than or equal to 4, partly because representing outliers causes precision issues in parameters that share the same scales as these outliers. This problem is especially pronounced for calibration-free, uniform quantization methods. We introduce SINQ to augment existing post-training quantizers with an additional second-axis scale factor and a fast Sinkhorn-Knopp-style algorithm that finds scales to normalize per-row and per-column variances, thereby minimizing a novel per-matrix proxy target for quantization: the matrix imbalance. Our method has no interactions between layers and can be trivially applied to new architectures to quantize any linear layers. We evaluate our method on the Qwen3 model family and DeepSeek-V2.5. SINQ improves WikiText2 and C4 perplexity significantly against uncalibrated uniform quantization baselines and can be further enhanced by combining it with calibration and non-uniform quantization levels. Code to reproduce the results of this work and to easily quantize models using SINQ is available at https://github.com/huawei-csl/SINQ.