SQ-Format: Ein einheitliches, hardwarefreundliches Sparse-Quantized-Datenformat für LLMs
SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs
December 5, 2025
papers.authors: Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang
cs.AI
papers.abstract
Die Nachträningsquantisierung (PTQ) spielt eine entscheidende Rolle bei der Demokratisierung großer Sprachmodelle (LLMs). Allerdings ist es schwierig, mit bestehenden Niedrigbit-Quantisierungs- und Sparsifizierungstechniken Genauigkeit und Effizienz auszugleichen, da die Hardwareunterstützung begrenzt ist. Beispielsweise kann W4A8 nur dieselbe Spitzen-TOPS wie W8A8 erreichen, während das GPU-unterstützte sparse Datenformat (2:4 halbstrukturiert spärlich) aufgrund von Genauigkeitsverlusten selten eingesetzt wird. Um diese Lücke zu schließen, schlagen wir in diesem Artikel das Sparse-Quantized Format (SQ-Format) vor – ein vereinheitlichtes Datenformat für Quantisierung und Sparsifizierung, das potenziell einfach von neuer Hardware und bestehenden GPUs unterstützt werden kann. Das SQ-Format macht sich zunutze, dass sparse Matrizen in hoher Präzision beschleunigt werden können und niedrigpräzise Matrixmultiplikationen entsprechend ebenfalls beschleunigt werden können. Somit wird das SQ-Format vorgeschlagen, um eine Pareto-Verbesserung zwischen Leistung und Durchsatz zu erreichen. Dieses Format eignet sich besonders für Aktivierungen mit Ausreißer-Ungleichheitsstatus und ermöglicht deren statische Kompression. Wir zeigen die state-of-the-art PTQ-Leistung mit dem SQ-Format, schlagen die erforderliche Hardware zu dessen Unterstützung vor und bieten zudem Design-Exploration und Einblicke für die nächste Generation von KI-Beschleunigern.
English
Post-training quantization (PTQ) plays a crucial role in the democratization of large language models (LLMs). However, existing low-bit quantization and sparsification techniques are difficult to balance accuracy and efficiency due to the limited hardware support. For example, W4A8 can only achieve the same peak TOPS as W8A8 whereas the GPU-supported sparse data format (2:4 semi-structure sparse) is seldomly adopted due to the loss of accuracy. To bridge this gap, in this paper, we propose the Sparse-Quantized Format (SQ-format), which is a unified data format for quantization and sparsification potentially easily supported by new hardware and existing GPUs. SQ-format makes use of the fact that sparse matrix can be accelerated in high-precision, and low-precision matrix multiplication can also be accelerated accordingly. As such, SQ-format is proposed to achieve Pareto improvement between performance and throughput. This format is particularly suitable for activations with outlier inequality status and makes their static compression possible. We show the state-of-the-art PTQ performance with SQ-format, propose the hardware required to support it, and further offer the design exploration and insights for the next-generation AI accelerators.