Redenerende Taalmodel Inferentiebediening Ontsluierd: Een Empirische Studie

Reasoning Language Model Inference Serving Unveiled: An Empirical Study

October 21, 2025

Auteurs: Qi Li, Junpan Wu, Xiang Liu, Yuxin Wang, Zeyu Li, Zhenheng Tang, Yuhan Chen, Shaohuai Shi, Xiaowen Chu

cs.AI

Samenvatting

Het redenerende grote taalmodel (RLLM) heeft bewezen concurrerend te zijn in het oplossen van complexe redeneertaken, zoals wiskunde en coderen, in vergelijking met algemene LLM's. Desalniettemin blijven de prestaties en het gedrag van RLLM's tijdens het serveren ononderzocht, wat de inzet en het gebruik van RLLM's in realistische scenario's kan ondermijnen. Om deze kloof te dichten, voeren we in dit artikel een uitgebreide studie uit naar RLLM-diensten. We beginnen met een vooronderzoek waarin we de serverprestaties van RLLM's en traditionele LLM's vergelijken en tonen aan dat er verschillende duidelijke verschillen zijn in servergedrag: (1) aanzienlijk geheugengebruik en fluctuaties; (2) achterblijvende verzoeken; (3) adaptieve looptijd; (4) domeinvoorkeur. Vervolgens onderzoeken we verder of bestaande inferentie-optimalisatietechnieken geldig zijn voor RLLM's. Onze belangrijkste bevindingen zijn dat modelkwantiseringsmethoden en speculatief decoderen de efficiëntie van het servicesysteem kunnen verbeteren met een kleine inbreuk op de nauwkeurigheid van RLLM's, terwijl prefix-caching en KV-cache-kwantisering de nauwkeurigheid of serverprestaties voor kleine RLLM's zelfs kunnen verslechteren. Ten slotte voeren we een evaluatie uit onder een realistische werklast gemodelleerd door een Gamma-verdeling om onze bevindingen te verifiëren. Empirische resultaten van de evaluatie van realistische werklasten over verschillende datasets komen overeen met onze belangrijkste bevindingen over RLLM-serveren. We hopen dat ons werk de onderzoeksgemeenschap en de industrie inzichten kan bieden om de inferentieservering van RLLM's te bevorderen.

English

The reasoning large language model (RLLM) has been proven competitive in solving complex reasoning tasks such as mathematics, coding, compared to general LLM. However, the serving performance and behavior of RLLM remains unexplored, which may undermine the deployment and utilization of RLLM in real-world scenario. To close this gap, in this paper, we conduct a comprehensive study of RLLM service. We first perform a pilot study on comparing the serving performance between RLLM and traditional LLM and reveal that there are several distinct differences regarding serving behavior: (1) significant memory usage and fluctuations; (2) straggler requests; (3) adaptive running time; (4) domain preference. Then we further investigate whether existing inference optimization techniques are valid for RLLM. Our main takeaways are that model quantization methods and speculative decoding can improve service system efficiency with small compromise to RLLM accuracy, while prefix caching, KV cache quantization may even degrade accuracy or serving performance for small RLLM. Lastly, we conduct evaluation under real world workload modeled by Gamma distribution to verify our findings. Empirical results of real world workload evaluation across different dataset are aligned with our main findings regarding RLLM serving. We hope our work can provide the research community and industry with insights to advance RLLM inference serving.