SINQ : Quantification Normalisée par Sinkhorn pour des Poids de Modèles de Langue de Basse Précision sans Calibration

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

September 26, 2025

papers.authors: Lorenz K. Müller, Philippe Bich, Jiawei Zhuang, Ahmet Çelik, Luca Benfenati, Lukas Cavigelli

cs.AI

papers.abstract

La quantification post-entraînement est devenue la stratégie la plus largement utilisée pour déployer des modèles de langage de grande taille en faible précision. Cependant, les méthodes actuelles montrent une dégradation de la perplexité pour des largeurs de bits inférieures ou égales à 4, en partie parce que la représentation des valeurs aberrantes entraîne des problèmes de précision dans les paramètres qui partagent les mêmes échelles que ces valeurs aberrantes. Ce problème est particulièrement prononcé pour les méthodes de quantification uniforme sans calibration. Nous introduisons SINQ pour améliorer les quantificateurs post-entraînement existants avec un facteur d'échelle supplémentaire sur le second axe et un algorithme rapide de type Sinkhorn-Knopp qui trouve des échelles pour normaliser les variances par ligne et par colonne, minimisant ainsi une nouvelle cible proxy par matrice pour la quantification : le déséquilibre matriciel. Notre méthode n'a pas d'interactions entre les couches et peut être trivialement appliquée à de nouvelles architectures pour quantifier n'importe quelle couche linéaire. Nous évaluons notre méthode sur la famille de modèles Qwen3 et DeepSeek-V2.5. SINQ améliore significativement la perplexité de WikiText2 et C4 par rapport aux bases de quantification uniforme non calibrées et peut être encore améliorée en la combinant avec la calibration et des niveaux de quantification non uniformes. Le code pour reproduire les résultats de ce travail et pour quantifier facilement des modèles en utilisant SINQ est disponible à l'adresse https://github.com/huawei-csl/SINQ.

English

Post-training quantization has emerged as the most widely used strategy for deploying large language models at low precision. Still, current methods show perplexity degradation at bit-widths less than or equal to 4, partly because representing outliers causes precision issues in parameters that share the same scales as these outliers. This problem is especially pronounced for calibration-free, uniform quantization methods. We introduce SINQ to augment existing post-training quantizers with an additional second-axis scale factor and a fast Sinkhorn-Knopp-style algorithm that finds scales to normalize per-row and per-column variances, thereby minimizing a novel per-matrix proxy target for quantization: the matrix imbalance. Our method has no interactions between layers and can be trivially applied to new architectures to quantize any linear layers. We evaluate our method on the Qwen3 model family and DeepSeek-V2.5. SINQ improves WikiText2 and C4 perplexity significantly against uncalibrated uniform quantization baselines and can be further enhanced by combining it with calibration and non-uniform quantization levels. Code to reproduce the results of this work and to easily quantize models using SINQ is available at https://github.com/huawei-csl/SINQ.