Квантование ухудшает способность к рассуждениям? Эмпирическое исследование моделей рассуждений с квантованием

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models

April 7, 2025

Авторы: Ruikang Liu, Yuxuan Sun, Manyi Zhang, Haoli Bai, Xianzhi Yu, Tiezheng Yu, Chun Yuan, Lu Hou

cs.AI

Аннотация

Последние достижения в области языковых моделей, способных к рассуждениям, продемонстрировали выдающиеся результаты в выполнении сложных задач, однако их расширенные цепочки рассуждений увеличивают вычислительные затраты на вывод. Хотя квантование широко применяется для снижения затрат на вывод в крупных языковых моделях, его влияние на модели рассуждений остается недостаточно изученным. В данном исследовании мы проводим первое систематическое изучение квантованных моделей рассуждений, оценивая открытые модели семейств DeepSeek-R1-Distilled Qwen и LLaMA с количеством параметров от 1,5 млрд до 70 млрд, а также модель QwQ-32B. Наше исследование охватывает квантование весов, кэша ключей и значений (KV cache) и активаций с использованием современных алгоритмов на различных уровнях битовой точности, с обширной оценкой на наборах данных для математических (AIME, MATH-500), научных (GPQA) и программистских (LiveCodeBench) рассуждений. Наши результаты показывают, что хотя без потерь квантование может быть достигнуто при использовании W8A8 или W4A16, более низкие уровни битовой точности влекут значительные риски снижения точности. Мы также выявили, что размер модели, её происхождение и сложность задачи являются критическими факторами производительности. Вопреки ожиданиям, квантованные модели не демонстрируют увеличения длины выходных данных. Кроме того, стратегическое масштабирование размеров моделей или шагов рассуждений может эффективно повысить производительность. Все квантованные модели и коды будут опубликованы на https://github.com/ruikangliu/Quantized-Reasoning-Models.

English

Recent advancements in reasoning language models have demonstrated remarkable performance in complex tasks, but their extended chain-of-thought reasoning process increases inference overhead. While quantization has been widely adopted to reduce the inference cost of large language models, its impact on reasoning models remains understudied. In this study, we conduct the first systematic study on quantized reasoning models, evaluating the open-sourced DeepSeek-R1-Distilled Qwen and LLaMA families ranging from 1.5B to 70B parameters, and QwQ-32B. Our investigation covers weight, KV cache, and activation quantization using state-of-the-art algorithms at varying bit-widths, with extensive evaluation across mathematical (AIME, MATH-500), scientific (GPQA), and programming (LiveCodeBench) reasoning benchmarks. Our findings reveal that while lossless quantization can be achieved with W8A8 or W4A16 quantization, lower bit-widths introduce significant accuracy risks. We further identify model size, model origin, and task difficulty as critical determinants of performance. Contrary to expectations, quantized models do not exhibit increased output lengths. In addition, strategically scaling the model sizes or reasoning steps can effectively enhance the performance. All quantized models and codes will be open-sourced in https://github.com/ruikangliu/Quantized-Reasoning-Models.