SQ-format: Un Formato de Datos Unificado, Disperso y Cuantizado, Optimizado para Hardware en Modelos de Lenguaje Grandes
SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs
December 5, 2025
Autores: Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang
cs.AI
Resumen
La cuantización post-entrenamiento (PTQ) desempeña un papel crucial en la democratización de los grandes modelos de lenguaje (LLM). Sin embargo, las técnicas existentes de cuantización y esparcificación de bajo bit son difíciles de equilibrar en cuanto a precisión y eficiencia debido al limitado soporte hardware. Por ejemplo, W4A8 solo puede alcanzar el mismo pico de TOPS que W8A8, mientras que el formato de datos dispersos soportado por GPU (esparcidad semi-estructurada 2:4) rara vez se adopta debido a la pérdida de precisión. Para cerrar esta brecha, en este artículo proponemos el Formato de Cuantización Esparcida (SQ-format), que es un formato de datos unificado para cuantización y esparcificación potencialmente fácil de soportar tanto por nuevo hardware como por GPUs existentes. El SQ-format aprovecha el hecho de que las matrices dispersas pueden acelerarse en alta precisión, y la multiplicación de matrices de baja precisión también puede acelerarse en consecuencia. Como tal, el SQ-format se propone para lograr una mejora de Pareto entre rendimiento y throughput. Este formato es particularmente adecuado para activaciones con estado de desigualdad de valores atípicos (outliers) y hace posible su compresión estática. Mostramos el rendimiento de vanguardia de PTQ con SQ-format, proponemos el hardware necesario para soportarlo y además ofrecemos la exploración de diseño y las perspectivas para la próxima generación de aceleradores de IA.
English
Post-training quantization (PTQ) plays a crucial role in the democratization of large language models (LLMs). However, existing low-bit quantization and sparsification techniques are difficult to balance accuracy and efficiency due to the limited hardware support. For example, W4A8 can only achieve the same peak TOPS as W8A8 whereas the GPU-supported sparse data format (2:4 semi-structure sparse) is seldomly adopted due to the loss of accuracy. To bridge this gap, in this paper, we propose the Sparse-Quantized Format (SQ-format), which is a unified data format for quantization and sparsification potentially easily supported by new hardware and existing GPUs. SQ-format makes use of the fact that sparse matrix can be accelerated in high-precision, and low-precision matrix multiplication can also be accelerated accordingly. As such, SQ-format is proposed to achieve Pareto improvement between performance and throughput. This format is particularly suitable for activations with outlier inequality status and makes their static compression possible. We show the state-of-the-art PTQ performance with SQ-format, propose the hardware required to support it, and further offer the design exploration and insights for the next-generation AI accelerators.