Qwen3 양자화에 대한 실증적 연구

An Empirical Study of Qwen3 Quantization

May 4, 2025

저자: Xingyu Zheng, Yuye Li, Haoran Chu, Yue Feng, Xudong Ma, Jie Luo, Jinyang Guo, Haotong Qin, Michele Magno, Xianglong Liu

cs.AI

초록

Qwen 시리즈는 오픈소스 대규모 언어 모델(LLM)의 선두주자로 부상하며, 자연어 이해 작업에서 뛰어난 능력을 입증했습니다. 최근 출시된 Qwen3는 다양한 벤치마크에서 우수한 성능을 보이며, 자원이 제한된 환경에서 이러한 모델을 효율적으로 배포하려는 관심이 높아지고 있습니다. 저비트 양자화는 유망한 해결책으로 제시되지만, Qwen3의 성능에 미치는 영향은 아직 충분히 탐구되지 않았습니다. 본 연구는 다양한 양자화 설정 하에서 Qwen3의 견고성을 체계적으로 평가하여, 이 최첨단 모델을 압축하는 데 있어 기회와 과제를 밝히고자 합니다. 우리는 Qwen3에 적용된 5가지 기존의 고전적인 사후 학습 양자화 기술을 1비트에서 8비트까지의 비트 폭에 걸쳐 엄격히 평가하고, 여러 데이터셋에서 그 효과를 검증했습니다. 연구 결과, Qwen3는 중간 비트 폭에서 경쟁력 있는 성능을 유지하지만, 극저정밀도에서는 언어 작업에서 현저한 성능 저하를 겪는 것으로 나타났으며, 이는 LLM 압축에서 여전히 해결해야 할 과제를 강조합니다. 이러한 결과는 극단적인 양자화 시나리오에서 성능 손실을 완화하기 위한 추가 연구의 필요성을 강조합니다. 우리는 이 실증적 분석이 Qwen3 및 향후 LLM에 맞춤화된 양자화 방법을 발전시키고, 정확도를 저하시키지 않으면서 실용성을 향상시키는 데 실행 가능한 통찰을 제공할 것으로 기대합니다. 본 프로젝트는 https://github.com/Efficient-ML/Qwen3-Quantization와 https://huggingface.co/collections/Efficient-ML/qwen3-quantization-68164450decb1c868788cb2b에서 공개되었습니다.

English

The Qwen series has emerged as a leading family of open-source Large Language Models (LLMs), demonstrating remarkable capabilities in natural language understanding tasks. With the recent release of Qwen3, which exhibits superior performance across diverse benchmarks, there is growing interest in deploying these models efficiently in resource-constrained environments. Low-bit quantization presents a promising solution, yet its impact on Qwen3's performance remains underexplored. This study conducts a systematic evaluation of Qwen3's robustness under various quantization settings, aiming to uncover both opportunities and challenges in compressing this state-of-the-art model. We rigorously assess 5 existing classic post-training quantization techniques applied to Qwen3, spanning bit-widths from 1 to 8 bits, and evaluate their effectiveness across multiple datasets. Our findings reveal that while Qwen3 maintains competitive performance at moderate bit-widths, it experiences notable degradation in linguistic tasks under ultra-low precision, underscoring the persistent hurdles in LLM compression. These results emphasize the need for further research to mitigate performance loss in extreme quantization scenarios. We anticipate that this empirical analysis will provide actionable insights for advancing quantization methods tailored to Qwen3 and future LLMs, ultimately enhancing their practicality without compromising accuracy. Our project is released on https://github.com/Efficient-ML/Qwen3-Quantization and https://huggingface.co/collections/Efficient-ML/qwen3-quantization-68164450decb1c868788cb2b.