Un Estudio Empírico de la Cuantización de Qwen3

An Empirical Study of Qwen3 Quantization

May 4, 2025

Autores: Xingyu Zheng, Yuye Li, Haoran Chu, Yue Feng, Xudong Ma, Jie Luo, Jinyang Guo, Haotong Qin, Michele Magno, Xianglong Liu

cs.AI

Resumen

La serie Qwen ha surgido como una destacada familia de modelos de lenguaje de gran escala (LLMs) de código abierto, demostrando capacidades notables en tareas de comprensión del lenguaje natural. Con el reciente lanzamiento de Qwen3, que exhibe un rendimiento superior en diversos benchmarks, existe un creciente interés en implementar estos modelos de manera eficiente en entornos con recursos limitados. La cuantización de bajo bit presenta una solución prometedora, aunque su impacto en el rendimiento de Qwen3 sigue siendo poco explorado. Este estudio realiza una evaluación sistemática de la robustez de Qwen3 bajo diversos ajustes de cuantización, con el objetivo de descubrir tanto oportunidades como desafíos en la compresión de este modelo de vanguardia. Evaluamos rigurosamente 5 técnicas clásicas de cuantización posentrenamiento aplicadas a Qwen3, abarcando anchos de bit desde 1 a 8 bits, y medimos su efectividad en múltiples conjuntos de datos. Nuestros hallazgos revelan que, aunque Qwen3 mantiene un rendimiento competitivo en anchos de bit moderados, experimenta una degradación notable en tareas lingüísticas bajo precisión ultra baja, lo que subraya los desafíos persistentes en la compresión de LLMs. Estos resultados enfatizan la necesidad de investigaciones adicionales para mitigar la pérdida de rendimiento en escenarios de cuantización extrema. Anticipamos que este análisis empírico proporcionará insights prácticos para avanzar en métodos de cuantización adaptados a Qwen3 y futuros LLMs, mejorando finalmente su practicidad sin comprometer la precisión. Nuestro proyecto está disponible en https://github.com/Efficient-ML/Qwen3-Quantization y https://huggingface.co/collections/Efficient-ML/qwen3-quantization-68164450decb1c868788cb2b.

English

The Qwen series has emerged as a leading family of open-source Large Language Models (LLMs), demonstrating remarkable capabilities in natural language understanding tasks. With the recent release of Qwen3, which exhibits superior performance across diverse benchmarks, there is growing interest in deploying these models efficiently in resource-constrained environments. Low-bit quantization presents a promising solution, yet its impact on Qwen3's performance remains underexplored. This study conducts a systematic evaluation of Qwen3's robustness under various quantization settings, aiming to uncover both opportunities and challenges in compressing this state-of-the-art model. We rigorously assess 5 existing classic post-training quantization techniques applied to Qwen3, spanning bit-widths from 1 to 8 bits, and evaluate their effectiveness across multiple datasets. Our findings reveal that while Qwen3 maintains competitive performance at moderate bit-widths, it experiences notable degradation in linguistic tasks under ultra-low precision, underscoring the persistent hurdles in LLM compression. These results emphasize the need for further research to mitigate performance loss in extreme quantization scenarios. We anticipate that this empirical analysis will provide actionable insights for advancing quantization methods tailored to Qwen3 and future LLMs, ultimately enhancing their practicality without compromising accuracy. Our project is released on https://github.com/Efficient-ML/Qwen3-Quantization and https://huggingface.co/collections/Efficient-ML/qwen3-quantization-68164450decb1c868788cb2b.