A Quantização Prejudica o Raciocínio? Um Estudo Empírico sobre Modelos de Raciocínio Quantizados

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models

April 7, 2025

Autores: Ruikang Liu, Yuxuan Sun, Manyi Zhang, Haoli Bai, Xianzhi Yu, Tiezheng Yu, Chun Yuan, Lu Hou

cs.AI

Resumo

Os avanços recentes em modelos de linguagem de raciocínio demonstraram desempenho notável em tarefas complexas, mas seus processos extensos de raciocínio em cadeia aumentam a sobrecarga de inferência. Embora a quantização tenha sido amplamente adotada para reduzir o custo de inferência de grandes modelos de linguagem, seu impacto em modelos de raciocínio permanece pouco estudado. Neste estudo, realizamos a primeira investigação sistemática sobre modelos de raciocínio quantizados, avaliando as famílias DeepSeek-R1-Distilled Qwen e LLaMA, que variam de 1,5B a 70B parâmetros, e o QwQ-32B. Nossa investigação abrange quantização de pesos, cache KV e ativações usando algoritmos state-of-the-art em diferentes larguras de bits, com avaliação extensa em benchmarks de raciocínio matemático (AIME, MATH-500), científico (GPQA) e de programação (LiveCodeBench). Nossos resultados revelam que, embora a quantização sem perdas possa ser alcançada com quantização W8A8 ou W4A16, larguras de bits menores introduzem riscos significativos de precisão. Identificamos ainda que o tamanho do modelo, sua origem e a dificuldade da tarefa são determinantes críticos do desempenho. Contrariamente às expectativas, modelos quantizados não exibem aumento no comprimento das saídas. Além disso, o dimensionamento estratégico dos tamanhos dos modelos ou dos passos de raciocínio pode efetivamente melhorar o desempenho. Todos os modelos quantizados e códigos serão disponibilizados em https://github.com/ruikangliu/Quantized-Reasoning-Models.

English

Recent advancements in reasoning language models have demonstrated remarkable performance in complex tasks, but their extended chain-of-thought reasoning process increases inference overhead. While quantization has been widely adopted to reduce the inference cost of large language models, its impact on reasoning models remains understudied. In this study, we conduct the first systematic study on quantized reasoning models, evaluating the open-sourced DeepSeek-R1-Distilled Qwen and LLaMA families ranging from 1.5B to 70B parameters, and QwQ-32B. Our investigation covers weight, KV cache, and activation quantization using state-of-the-art algorithms at varying bit-widths, with extensive evaluation across mathematical (AIME, MATH-500), scientific (GPQA), and programming (LiveCodeBench) reasoning benchmarks. Our findings reveal that while lossless quantization can be achieved with W8A8 or W4A16 quantization, lower bit-widths introduce significant accuracy risks. We further identify model size, model origin, and task difficulty as critical determinants of performance. Contrary to expectations, quantized models do not exhibit increased output lengths. In addition, strategically scaling the model sizes or reasoning steps can effectively enhance the performance. All quantized models and codes will be open-sourced in https://github.com/ruikangliu/Quantized-Reasoning-Models.