SINQ: Cuantización Normalizada por Sinkhorn para Pesos de LLM de Baja Precisión sin Calibración

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

September 26, 2025

Autores: Lorenz K. Müller, Philippe Bich, Jiawei Zhuang, Ahmet Çelik, Luca Benfenati, Lukas Cavigelli

cs.AI

Resumen

La cuantización post-entrenamiento ha surgido como la estrategia más ampliamente utilizada para implementar modelos de lenguaje grandes en baja precisión. Sin embargo, los métodos actuales muestran degradación en la perplejidad en anchos de bits menores o iguales a 4, en parte porque la representación de valores atípicos causa problemas de precisión en los parámetros que comparten las mismas escalas que estos valores atípicos. Este problema es especialmente pronunciado en los métodos de cuantización uniforme sin calibración. Introducimos SINQ para mejorar los cuantizadores post-entrenamiento existentes con un factor de escala adicional en el segundo eje y un algoritmo rápido al estilo Sinkhorn-Knopp que encuentra escalas para normalizar las varianzas por fila y por columna, minimizando así un nuevo objetivo proxy de cuantización por matriz: el desequilibrio matricial. Nuestro método no tiene interacciones entre capas y puede aplicarse trivialmente a nuevas arquitecturas para cuantificar cualquier capa lineal. Evaluamos nuestro método en la familia de modelos Qwen3 y DeepSeek-V2.5. SINQ mejora significativamente la perplejidad en WikiText2 y C4 en comparación con las líneas base de cuantización uniforme sin calibración, y puede mejorarse aún más combinándolo con calibración y niveles de cuantización no uniformes. El código para reproducir los resultados de este trabajo y para cuantizar fácilmente modelos usando SINQ está disponible en https://github.com/huawei-csl/SINQ.

English

Post-training quantization has emerged as the most widely used strategy for deploying large language models at low precision. Still, current methods show perplexity degradation at bit-widths less than or equal to 4, partly because representing outliers causes precision issues in parameters that share the same scales as these outliers. This problem is especially pronounced for calibration-free, uniform quantization methods. We introduce SINQ to augment existing post-training quantizers with an additional second-axis scale factor and a fast Sinkhorn-Knopp-style algorithm that finds scales to normalize per-row and per-column variances, thereby minimizing a novel per-matrix proxy target for quantization: the matrix imbalance. Our method has no interactions between layers and can be trivially applied to new architectures to quantize any linear layers. We evaluate our method on the Qwen3 model family and DeepSeek-V2.5. SINQ improves WikiText2 and C4 perplexity significantly against uncalibrated uniform quantization baselines and can be further enhanced by combining it with calibration and non-uniform quantization levels. Code to reproduce the results of this work and to easily quantize models using SINQ is available at https://github.com/huawei-csl/SINQ.