SQ-format: Un Formato di Dati Unificato, Sparso e Quantizzato per LLM Ottimizzato per l'Hardware
SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs
December 5, 2025
Autori: Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang
cs.AI
Abstract
La quantizzazione post-addestramento (PTQ) svolge un ruolo cruciale nella democratizzazione dei grandi modelli linguistici (LLM). Tuttavia, le tecniche esistenti di quantizzazione a basso bit e sparsificazione faticano a bilanciare accuratezza ed efficienza a causa del limitato supporto hardware. Ad esempio, W4A8 può raggiungere solo lo stesso picco di TOPS di W8A8, mentre il formato di dati sparse supportato dalle GPU (sparsità semi-strutturata 2:4) è raramente adottato a causa della perdita di accuratezza. Per colmare questa lacuna, in questo articolo proponiamo il Formato Sparso-Quantizzato (SQ-format), un formato di dati unificato per quantizzazione e sparsificazione potenzialmente facile da supportare sia per nuovi hardware che per GPU esistenti. L'SQ-format sfrutta il fatto che le matrici sparse possono essere accelerate in alta precisione e che la moltiplicazione di matrici a bassa precisione può anch'essa essere accelerata di conseguenza. In tal modo, l'SQ-format è proposto per ottenere un miglioramento paretiano tra prestazioni e throughput. Questo formato è particolarmente adatto per attivazioni con stato di disuguaglianza degli outlier e rende possibile la loro compressione statica. Dimostriamo le prestazioni all'avanguardia della PTQ con l'SQ-format, proponiamo l'hardware necessario per supportarlo e offriamo inoltre un'esplorazione progettuale e spunti di riflessione per la prossima generazione di acceleratori per l'IA.
English
Post-training quantization (PTQ) plays a crucial role in the democratization of large language models (LLMs). However, existing low-bit quantization and sparsification techniques are difficult to balance accuracy and efficiency due to the limited hardware support. For example, W4A8 can only achieve the same peak TOPS as W8A8 whereas the GPU-supported sparse data format (2:4 semi-structure sparse) is seldomly adopted due to the loss of accuracy. To bridge this gap, in this paper, we propose the Sparse-Quantized Format (SQ-format), which is a unified data format for quantization and sparsification potentially easily supported by new hardware and existing GPUs. SQ-format makes use of the fact that sparse matrix can be accelerated in high-precision, and low-precision matrix multiplication can also be accelerated accordingly. As such, SQ-format is proposed to achieve Pareto improvement between performance and throughput. This format is particularly suitable for activations with outlier inequality status and makes their static compression possible. We show the state-of-the-art PTQ performance with SQ-format, propose the hardware required to support it, and further offer the design exploration and insights for the next-generation AI accelerators.