SINQ: Квантование с нормализацией Синкхорна для низкоточных весов языковых моделей без калибровки

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

September 26, 2025

Авторы: Lorenz K. Müller, Philippe Bich, Jiawei Zhuang, Ahmet Çelik, Luca Benfenati, Lukas Cavigelli

cs.AI

Аннотация

Посттренировочная квантизация стала наиболее широко используемой стратегией для развертывания больших языковых моделей с низкой точностью. Тем не менее, современные методы демонстрируют ухудшение перплексии при битовой ширине, меньшей или равной 4, отчасти из-за того, что представление выбросов вызывает проблемы с точностью в параметрах, которые используют те же масштабы, что и эти выбросы. Эта проблема особенно заметна для методов равномерной квантизации, не требующих калибровки. Мы представляем SINQ, который дополняет существующие посттренировочные квантизаторы дополнительным масштабным коэффициентом по второй оси и быстрым алгоритмом в стиле Синхорна-Кноппа, который находит масштабы для нормализации дисперсий по строкам и столбцам, тем самым минимизируя новый прокси-целевой показатель для квантизации: дисбаланс матрицы. Наш метод не имеет взаимодействий между слоями и может быть тривиально применен к новым архитектурам для квантизации любых линейных слоев. Мы оцениваем наш метод на семействе моделей Qwen3 и DeepSeek-V2.5. SINQ значительно улучшает перплексию на WikiText2 и C4 по сравнению с базовыми методами равномерной квантизации без калибровки и может быть дополнительно улучшен за счет комбинации с калибровкой и неравномерными уровнями квантизации. Код для воспроизведения результатов этой работы и простого квантирования моделей с использованием SINQ доступен по адресу https://github.com/huawei-csl/SINQ.

English

Post-training quantization has emerged as the most widely used strategy for deploying large language models at low precision. Still, current methods show perplexity degradation at bit-widths less than or equal to 4, partly because representing outliers causes precision issues in parameters that share the same scales as these outliers. This problem is especially pronounced for calibration-free, uniform quantization methods. We introduce SINQ to augment existing post-training quantizers with an additional second-axis scale factor and a fast Sinkhorn-Knopp-style algorithm that finds scales to normalize per-row and per-column variances, thereby minimizing a novel per-matrix proxy target for quantization: the matrix imbalance. Our method has no interactions between layers and can be trivially applied to new architectures to quantize any linear layers. We evaluate our method on the Qwen3 model family and DeepSeek-V2.5. SINQ improves WikiText2 and C4 perplexity significantly against uncalibrated uniform quantization baselines and can be further enhanced by combining it with calibration and non-uniform quantization levels. Code to reproduce the results of this work and to easily quantize models using SINQ is available at https://github.com/huawei-csl/SINQ.