SQ-format : Un format de données unifié, épars, quantifié et adapté au matériel pour les LLM
SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs
December 5, 2025
papers.authors: Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang
cs.AI
papers.abstract
La quantification post-entraînement (PTQ) joue un rôle crucial dans la démocratisation des grands modèles de langage (LLM). Cependant, les techniques existantes de quantification et de sparsification à faible précision peinent à concilier précision et efficacité en raison du support matériel limité. Par exemple, le format W4A8 ne peut atteindre le même pic de TOPS que le W8A8, tandis que le format de données creuses pris en charge par les GPU (sparsification semi-structurée 2:4) est rarement adopté en raison des pertes de précision. Pour combler cette lacune, nous proposons dans cet article le format de quantification creuse (SQ-format), un format de données unifié pour la quantification et la sparsification potentiellement facile à supporter par les nouveaux matériels et les GPU existants. Le SQ-format exploite le fait que les matrices creuses peuvent être accélérées en haute précision, et que la multiplication de matrices en faible précision peut également être accélérée en conséquence. Ainsi, le SQ-format permet une amélioration de Pareto entre les performances et le débit. Ce format convient particulièrement aux activations présentant un statut d'inégalité des valeurs aberrantes et rend possible leur compression statique. Nous démontrons les performances de pointe en PTQ avec le SQ-format, proposons le matériel nécessaire pour le supporter, et offrons une exploration conceptuelle et des perspectives pour les accélérateurs d'IA de nouvelle génération.
English
Post-training quantization (PTQ) plays a crucial role in the democratization of large language models (LLMs). However, existing low-bit quantization and sparsification techniques are difficult to balance accuracy and efficiency due to the limited hardware support. For example, W4A8 can only achieve the same peak TOPS as W8A8 whereas the GPU-supported sparse data format (2:4 semi-structure sparse) is seldomly adopted due to the loss of accuracy. To bridge this gap, in this paper, we propose the Sparse-Quantized Format (SQ-format), which is a unified data format for quantization and sparsification potentially easily supported by new hardware and existing GPUs. SQ-format makes use of the fact that sparse matrix can be accelerated in high-precision, and low-precision matrix multiplication can also be accelerated accordingly. As such, SQ-format is proposed to achieve Pareto improvement between performance and throughput. This format is particularly suitable for activations with outlier inequality status and makes their static compression possible. We show the state-of-the-art PTQ performance with SQ-format, propose the hardware required to support it, and further offer the design exploration and insights for the next-generation AI accelerators.