Quantisierung beeinträchtigt das logische Denken? Eine empirische Studie zu quantisierten Reasoning-Modellen

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models

April 7, 2025

Autoren: Ruikang Liu, Yuxuan Sun, Manyi Zhang, Haoli Bai, Xianzhi Yu, Tiezheng Yu, Chun Yuan, Lu Hou

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Reasoning-Sprachmodellen haben bemerkenswerte Leistungen bei komplexen Aufgaben gezeigt, doch ihr erweiterter Chain-of-Thought-Reasoning-Prozess erhöht den Inferenzaufwand. Während Quantisierung weit verbreitet ist, um die Inferenzkosten großer Sprachmodelle zu reduzieren, ist ihre Auswirkung auf Reasoning-Modelle noch wenig erforscht. In dieser Studie führen wir die erste systematische Untersuchung zu quantisierten Reasoning-Modellen durch und evaluieren die Open-Source-Modelle DeepSeek-R1-Distilled Qwen und LLaMA mit Parametern von 1,5B bis 70B sowie QwQ-32B. Unsere Untersuchung umfasst Gewichts-, KV-Cache- und Aktivierungsquantisierung mit state-of-the-art Algorithmen bei verschiedenen Bit-Breiten, begleitet von umfangreichen Bewertungen über mathematische (AIME, MATH-500), wissenschaftliche (GPQA) und programmierbezogene (LiveCodeBench) Reasoning-Benchmarks. Unsere Ergebnisse zeigen, dass verlustfreie Quantisierung mit W8A8 oder W4A16 erreicht werden kann, während niedrigere Bit-Breiten erhebliche Genauigkeitsrisiken mit sich bringen. Wir identifizieren weiterhin Modellgröße, Modellherkunft und Aufgabenkomplexität als entscheidende Leistungsfaktoren. Entgegen den Erwartungen zeigen quantisierte Modelle keine erhöhten Ausgabelängen. Darüber hinaus kann eine strategische Skalierung der Modellgrößen oder Reasoning-Schritte die Leistung effektiv verbessern. Alle quantisierten Modelle und Codes werden unter https://github.com/ruikangliu/Quantized-Reasoning-Models open-source veröffentlicht.

English

Recent advancements in reasoning language models have demonstrated remarkable performance in complex tasks, but their extended chain-of-thought reasoning process increases inference overhead. While quantization has been widely adopted to reduce the inference cost of large language models, its impact on reasoning models remains understudied. In this study, we conduct the first systematic study on quantized reasoning models, evaluating the open-sourced DeepSeek-R1-Distilled Qwen and LLaMA families ranging from 1.5B to 70B parameters, and QwQ-32B. Our investigation covers weight, KV cache, and activation quantization using state-of-the-art algorithms at varying bit-widths, with extensive evaluation across mathematical (AIME, MATH-500), scientific (GPQA), and programming (LiveCodeBench) reasoning benchmarks. Our findings reveal that while lossless quantization can be achieved with W8A8 or W4A16 quantization, lower bit-widths introduce significant accuracy risks. We further identify model size, model origin, and task difficulty as critical determinants of performance. Contrary to expectations, quantized models do not exhibit increased output lengths. In addition, strategically scaling the model sizes or reasoning steps can effectively enhance the performance. All quantized models and codes will be open-sourced in https://github.com/ruikangliu/Quantized-Reasoning-Models.