¿La cuantización afecta el razonamiento? Un estudio empírico sobre modelos de razonamiento cuantizados

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models

April 7, 2025

Autores: Ruikang Liu, Yuxuan Sun, Manyi Zhang, Haoli Bai, Xianzhi Yu, Tiezheng Yu, Chun Yuan, Lu Hou

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje de razonamiento han demostrado un rendimiento notable en tareas complejas, pero su proceso extendido de razonamiento en cadena aumenta la sobrecarga de inferencia. Si bien la cuantización ha sido ampliamente adoptada para reducir el costo de inferencia de los modelos de lenguaje grandes, su impacto en los modelos de razonamiento sigue siendo poco estudiado. En este estudio, realizamos la primera investigación sistemática sobre modelos de razonamiento cuantizados, evaluando las familias DeepSeek-R1-Distilled Qwen y LLaMA, que van desde 1.5B hasta 70B parámetros, y QwQ-32B, todas de código abierto. Nuestra investigación abarca la cuantización de pesos, caché KV y activaciones utilizando algoritmos de vanguardia en diferentes anchos de bits, con una evaluación extensa en benchmarks de razonamiento matemático (AIME, MATH-500), científico (GPQA) y de programación (LiveCodeBench). Nuestros hallazgos revelan que, si bien se puede lograr una cuantización sin pérdidas con W8A8 o W4A16, los anchos de bits más bajos introducen riesgos significativos de precisión. Además, identificamos que el tamaño del modelo, su origen y la dificultad de la tarea son determinantes críticos del rendimiento. Contrario a las expectativas, los modelos cuantizados no muestran longitudes de salida aumentadas. Asimismo, escalar estratégicamente los tamaños de los modelos o los pasos de razonamiento puede mejorar efectivamente el rendimiento. Todos los modelos cuantizados y los códigos estarán disponibles en https://github.com/ruikangliu/Quantized-Reasoning-Models.

English

Recent advancements in reasoning language models have demonstrated remarkable performance in complex tasks, but their extended chain-of-thought reasoning process increases inference overhead. While quantization has been widely adopted to reduce the inference cost of large language models, its impact on reasoning models remains understudied. In this study, we conduct the first systematic study on quantized reasoning models, evaluating the open-sourced DeepSeek-R1-Distilled Qwen and LLaMA families ranging from 1.5B to 70B parameters, and QwQ-32B. Our investigation covers weight, KV cache, and activation quantization using state-of-the-art algorithms at varying bit-widths, with extensive evaluation across mathematical (AIME, MATH-500), scientific (GPQA), and programming (LiveCodeBench) reasoning benchmarks. Our findings reveal that while lossless quantization can be achieved with W8A8 or W4A16 quantization, lower bit-widths introduce significant accuracy risks. We further identify model size, model origin, and task difficulty as critical determinants of performance. Contrary to expectations, quantized models do not exhibit increased output lengths. In addition, strategically scaling the model sizes or reasoning steps can effectively enhance the performance. All quantized models and codes will be open-sourced in https://github.com/ruikangliu/Quantized-Reasoning-Models.