Schadt kwantisatie redeneren? Een empirische studie naar gekwantiseerde redeneermodellen

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models

April 7, 2025

Auteurs: Ruikang Liu, Yuxuan Sun, Manyi Zhang, Haoli Bai, Xianzhi Yu, Tiezheng Yu, Chun Yuan, Lu Hou

cs.AI

Samenvatting

Recente vooruitgang in redeneertaalmodellen heeft opmerkelijke prestaties laten zien in complexe taken, maar hun uitgebreide keten-van-gedachten-redeneerproces verhoogt de inferentie-overhead. Hoewel kwantisering veelvuldig is toegepast om de inferentiekosten van grote taalmodelen te verlagen, blijft de impact ervan op redeneermodellen onderbelicht. In deze studie voeren we het eerste systematische onderzoek uit naar gekwantiseerde redeneermodellen, waarbij we de open-source DeepSeek-R1-Distilled Qwen- en LLaMA-families evalueren, variërend van 1,5B tot 70B parameters, en QwQ-32B. Ons onderzoek omvat gewichts-, KV-cache- en activatiekwantisering met behulp van state-of-the-art algoritmen op verschillende bit-breedtes, met uitgebreide evaluatie over wiskundige (AIME, MATH-500), wetenschappelijke (GPQA) en programmeerredeneerbenchmarks (LiveCodeBench). Onze bevindingen tonen aan dat verliesloze kwantisering kan worden bereikt met W8A8- of W4A16-kwantisering, maar dat lagere bit-breedtes aanzienlijke nauwkeurigheidsrisico's met zich meebrengen. We identificeren verder modelgrootte, modeloorsprong en taakmoeilijkheid als kritieke prestatiebepalende factoren. In tegenstelling tot verwachtingen vertonen gekwantiseerde modellen geen verhoogde uitvoerlengtes. Daarnaast kan het strategisch schalen van de modelgroottes of redeneerstappen de prestaties effectief verbeteren. Alle gekwantiseerde modellen en codes zullen worden openbaar gemaakt op https://github.com/ruikangliu/Quantized-Reasoning-Models.

English

Recent advancements in reasoning language models have demonstrated remarkable performance in complex tasks, but their extended chain-of-thought reasoning process increases inference overhead. While quantization has been widely adopted to reduce the inference cost of large language models, its impact on reasoning models remains understudied. In this study, we conduct the first systematic study on quantized reasoning models, evaluating the open-sourced DeepSeek-R1-Distilled Qwen and LLaMA families ranging from 1.5B to 70B parameters, and QwQ-32B. Our investigation covers weight, KV cache, and activation quantization using state-of-the-art algorithms at varying bit-widths, with extensive evaluation across mathematical (AIME, MATH-500), scientific (GPQA), and programming (LiveCodeBench) reasoning benchmarks. Our findings reveal that while lossless quantization can be achieved with W8A8 or W4A16 quantization, lower bit-widths introduce significant accuracy risks. We further identify model size, model origin, and task difficulty as critical determinants of performance. Contrary to expectations, quantized models do not exhibit increased output lengths. In addition, strategically scaling the model sizes or reasoning steps can effectively enhance the performance. All quantized models and codes will be open-sourced in https://github.com/ruikangliu/Quantized-Reasoning-Models.