Aufgedeckt: Eine empirische Studie zum Inferenz-Serving von Reasoning Language Models

Reasoning Language Model Inference Serving Unveiled: An Empirical Study

October 21, 2025

papers.authors: Qi Li, Junpan Wu, Xiang Liu, Yuxin Wang, Zeyu Li, Zhenheng Tang, Yuhan Chen, Shaohuai Shi, Xiaowen Chu

cs.AI

papers.abstract

Das Reasoning Large Language Model (RLLM) hat sich als wettbewerbsfähig bei der Lösung komplexer Reasoning-Aufgaben wie Mathematik und Programmierung im Vergleich zu allgemeinen LLMs erwiesen. Die Servingleistung und das Servierverhalten von RLLMs sind jedoch noch unerforscht, was den Einsatz und die Nutzung von RLLMs in realen Szenarien beeinträchtigen könnte. Um diese Lücke zu schließen, führen wir in diesem Artikel eine umfassende Studie zum RLLM-Service durch. Wir führen zunächst eine Pilotstudie zum Vergleich der Servingleistung zwischen RLLM und traditionellen LLMs durch und zeigen mehrere deutliche Unterschiede im Servierverhalten auf: (1) signifikante Speichernutzung und -schwankungen; (2) Nachzügler-Anfragen (Straggler Requests); (3) adaptive Laufzeit; (4) Domänenpräferenz. Anschließend untersuchen wir, ob bestehende Inferenz-Optimierungstechniken für RLLMs gültig sind. Unsere Haupterkenntnisse sind, dass Modellquantisierungsmethoden und spekulatives Decoding die Effizienz des Servicesystems mit geringen Einbußen bei der RLLM-Genauigkeit verbessern können, während Prefix Caching und KV-Cache-Quantisierung die Genauigkeit oder Servingleistung für kleine RLLMs sogar verschlechtern können. Schließlich führen wir eine Evaluation unter realer Arbeitslast durch, die mittels Gamma-Verteilung modelliert wurde, um unsere Erkenntnisse zu verifizieren. Die empirischen Ergebnisse der Evaluation realer Arbeitslasten über verschiedene Datensätze hinweg bestätigen unsere Haupterkenntnisse bezüglich des RLLM-Serving. Wir hoffen, dass unsere Arbeit der Forschungsgemeinschaft und der Industrie Erkenntnisse liefern kann, um das RLLM-Inference-Serving voranzutreiben.

English

The reasoning large language model (RLLM) has been proven competitive in solving complex reasoning tasks such as mathematics, coding, compared to general LLM. However, the serving performance and behavior of RLLM remains unexplored, which may undermine the deployment and utilization of RLLM in real-world scenario. To close this gap, in this paper, we conduct a comprehensive study of RLLM service. We first perform a pilot study on comparing the serving performance between RLLM and traditional LLM and reveal that there are several distinct differences regarding serving behavior: (1) significant memory usage and fluctuations; (2) straggler requests; (3) adaptive running time; (4) domain preference. Then we further investigate whether existing inference optimization techniques are valid for RLLM. Our main takeaways are that model quantization methods and speculative decoding can improve service system efficiency with small compromise to RLLM accuracy, while prefix caching, KV cache quantization may even degrade accuracy or serving performance for small RLLM. Lastly, we conduct evaluation under real world workload modeled by Gamma distribution to verify our findings. Empirical results of real world workload evaluation across different dataset are aligned with our main findings regarding RLLM serving. We hope our work can provide the research community and industry with insights to advance RLLM inference serving.