SQ-formaat: Een uniforme, hardwarevriendelijke sparse-gekwantiseerde gegevensindeling voor LLM's
SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs
December 5, 2025
Auteurs: Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang
cs.AI
Samenvatting
Post-training-kwantisering (PTQ) speelt een cruciale rol in de democratisering van grote taalmodellen (LLM's). Bestaande kwantiseringstechnieken met een laag aantal bits en sparsificatietechnieken zijn echter moeilijk te balanceren wat betreft nauwkeurigheid en efficiëntie vanwege de beperkte hardware-ondersteuning. W4A8 kan bijvoorbeeld slechts dezelfde piek-TOPS bereiken als W8A8, terwijl het door GPU's ondersteunde sparse dataformaat (2:4 semi-structurele sparse) zelden wordt toegepast vanwege het verlies aan nauwkeurigheid. Om deze kloof te overbruggen, stellen wij in dit artikel het Sparse-Quantized Format (SQ-formaat) voor, een uniform dataformaat voor kwantisering en sparsificatie dat mogelijk eenvoudig kan worden ondersteund door nieuwe hardware en bestaande GPU's. Het SQ-formaat maakt gebruik van het feit dat sparse matrices kunnen worden versneld in hoge precisie, en matrixvermenigvuldiging met lage precisie dienovereenkomstig ook kan worden versneld. Zo wordt het SQ-formaat voorgesteld om een Pareto-verbetering tussen prestaties en doorvoer te bereiken. Dit formaat is bijzonder geschikt voor activaties met een outlier-ongelijkheidstoestand en maakt hun statische compressie mogelijk. Wij tonen de state-of-the-art PTQ-prestaties met het SQ-formaat, stellen de benodigde hardware voor om het te ondersteunen, en bieden verder ontwerpverkenning en inzichten voor de volgende generatie AI-accelerators.
English
Post-training quantization (PTQ) plays a crucial role in the democratization of large language models (LLMs). However, existing low-bit quantization and sparsification techniques are difficult to balance accuracy and efficiency due to the limited hardware support. For example, W4A8 can only achieve the same peak TOPS as W8A8 whereas the GPU-supported sparse data format (2:4 semi-structure sparse) is seldomly adopted due to the loss of accuracy. To bridge this gap, in this paper, we propose the Sparse-Quantized Format (SQ-format), which is a unified data format for quantization and sparsification potentially easily supported by new hardware and existing GPUs. SQ-format makes use of the fact that sparse matrix can be accelerated in high-precision, and low-precision matrix multiplication can also be accelerated accordingly. As such, SQ-format is proposed to achieve Pareto improvement between performance and throughput. This format is particularly suitable for activations with outlier inequality status and makes their static compression possible. We show the state-of-the-art PTQ performance with SQ-format, propose the hardware required to support it, and further offer the design exploration and insights for the next-generation AI accelerators.