SQ-формат: Унизифицированный разреженно-квантованный аппаратно-ориентированный формат данных для больших языковых моделей
SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs
December 5, 2025
Авторы: Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang
cs.AI
Аннотация
Квантование после обучения (PTQ) играет ключевую роль в демократизации больших языковых моделей (LLM). Однако существующие методы низкобитного квантования и разрежения сложно балансируют точность и эффективность из-за ограниченной аппаратной поддержки. Например, W4A8 может достичь лишь той же пиковой производительности (TOPS), что и W8A8, тогда как поддерживаемый GPU разреженный формат данных (2:4 полуструктурное разрежение) редко применяется из-за потери точности. Чтобы устранить этот разрыв, в данной статье мы предлагаем Разреженно-Квантованный Формат (SQ-формат) — унифицированный формат данных для квантования и разрежения, потенциально легко поддерживаемый как новым оборудованием, так и существующими GPU. SQ-формат использует тот факт, что разреженные матрицы можно ускорять в высокоточном режиме, а низкоточное матричное умножение также может быть соответствующим образом ускорено. Таким образом, SQ-формат предлагается для достижения Парето-улучшения между производительностью и пропускной способностью. Этот формат особенно подходит для активаций с неравномерным распределением выбросов и делает возможным их статическое сжатие. Мы демонстрируем передовую производительность PTQ с SQ-форматом, предлагаем аппаратные требования для его поддержки и дополнительно предоставляем исследование проектирования и инсайты для следующего поколения AI-ускорителей.
English
Post-training quantization (PTQ) plays a crucial role in the democratization of large language models (LLMs). However, existing low-bit quantization and sparsification techniques are difficult to balance accuracy and efficiency due to the limited hardware support. For example, W4A8 can only achieve the same peak TOPS as W8A8 whereas the GPU-supported sparse data format (2:4 semi-structure sparse) is seldomly adopted due to the loss of accuracy. To bridge this gap, in this paper, we propose the Sparse-Quantized Format (SQ-format), which is a unified data format for quantization and sparsification potentially easily supported by new hardware and existing GPUs. SQ-format makes use of the fact that sparse matrix can be accelerated in high-precision, and low-precision matrix multiplication can also be accelerated accordingly. As such, SQ-format is proposed to achieve Pareto improvement between performance and throughput. This format is particularly suitable for activations with outlier inequality status and makes their static compression possible. We show the state-of-the-art PTQ performance with SQ-format, propose the hardware required to support it, and further offer the design exploration and insights for the next-generation AI accelerators.