Dévoiler l'Inférence des Modèles de Langage de Raisonnement : Une Étude Empirique

Reasoning Language Model Inference Serving Unveiled: An Empirical Study

October 21, 2025

papers.authors: Qi Li, Junpan Wu, Xiang Liu, Yuxin Wang, Zeyu Li, Zhenheng Tang, Yuhan Chen, Shaohuai Shi, Xiaowen Chu

cs.AI

papers.abstract

Le modèle de langage de grande taille à raisonnement (RLLM) s'est avéré compétitif pour résoudre des tâches de raisonnement complexes telles que les mathématiques et la programmation, comparé aux LLM généraux. Cependant, les performances et le comportement opérationnels des RLLM restent inexplorés, ce qui pourrait compromettre leur déploiement et leur utilisation dans des scénarios réels. Pour combler cette lacune, nous menons dans cet article une étude exhaustive du service RLLM. Nous réalisons d'abord une étude pilote comparant les performances opérationnelles des RLLM et des LLM traditionnels, révélant plusieurs différences distinctes de comportement : (1) une utilisation mémoire importante avec des fluctuations significatives ; (2) des requêts traînardes ; (3) un temps d'exécution adaptatif ; (4) une préférence domainale. Nous étudions ensuite si les techniques d'optimisation d'inférence existantes sont valables pour les RLLM. Nos principales conclusions sont que les méthodes de quantification de modèle et le décodage spéculatif améliorent l'efficacité du système de service avec une faible compromission de la précision des RLLM, tandis que la mise en cache des préfixes et la quantification du cache KV peuvent même dégrader la précision ou les performances des petits RLLM. Enfin, nous évaluons ces techniques sous une charge de travail réelle modélisée par une distribution Gamma pour vérifier nos observations. Les résultats empiriques de l'évaluation en charge réelle sur différents jeux de données corroborent nos principales conclusions concernant le service RLLM. Nous espérons que notre travail fournira à la communauté scientifique et à l'industrie des perspectives pour faire progresser l'inférence des RLLM.

English

The reasoning large language model (RLLM) has been proven competitive in solving complex reasoning tasks such as mathematics, coding, compared to general LLM. However, the serving performance and behavior of RLLM remains unexplored, which may undermine the deployment and utilization of RLLM in real-world scenario. To close this gap, in this paper, we conduct a comprehensive study of RLLM service. We first perform a pilot study on comparing the serving performance between RLLM and traditional LLM and reveal that there are several distinct differences regarding serving behavior: (1) significant memory usage and fluctuations; (2) straggler requests; (3) adaptive running time; (4) domain preference. Then we further investigate whether existing inference optimization techniques are valid for RLLM. Our main takeaways are that model quantization methods and speculative decoding can improve service system efficiency with small compromise to RLLM accuracy, while prefix caching, KV cache quantization may even degrade accuracy or serving performance for small RLLM. Lastly, we conduct evaluation under real world workload modeled by Gamma distribution to verify our findings. Empirical results of real world workload evaluation across different dataset are aligned with our main findings regarding RLLM serving. We hope our work can provide the research community and industry with insights to advance RLLM inference serving.