Servizio di Inferenza per Modelli Linguistici di Ragionamento Svelato: Uno Studio Empirico

Reasoning Language Model Inference Serving Unveiled: An Empirical Study

October 21, 2025

Autori: Qi Li, Junpan Wu, Xiang Liu, Yuxin Wang, Zeyu Li, Zhenheng Tang, Yuhan Chen, Shaohuai Shi, Xiaowen Chu

cs.AI

Abstract

Il modello linguistico di ragionamento (RLLM) ha dimostrato di essere competitivo nella risoluzione di compiti complessi come la matematica e la codifica rispetto ai modelli linguistici generali. Tuttavia, le prestazioni e il comportamento di servizio degli RLLM rimangono inesplorati, il che potrebbe comprometterne l'implementazione e l'utilizzo in scenari reali. Per colmare questa lacuna, in questo articolo conduciamo uno studio completo sul servizio RLLM. Iniziamo con uno studio pilota che confronta le prestazioni di servizio tra RLLM e LLM tradizionali, rivelando diverse differenze comportamentali: (1) utilizzo e fluttuazioni significative della memoria; (2) richieste ritardatarie; (3) tempo di esecuzione adattivo; (4) preferenza di dominio. Successivamente indaghiamo se le tecniche di ottimizzazione dell'inferenza esistenti siano valide per gli RLLM. I principali risultati indicano che i metodi di quantizzazione del modello e il decoding speculativo migliorano l'efficienza del sistema di servizio con un lieve compromesso sull'accuratezza degli RLLM, mentre la cache dei prefissi e la quantizzazione della KV cache possono persino degradare l'accuratezza o le prestazioni per RLLM di piccole dimensioni. Infine, conduciamo una valutazione sotto un carico di lavoro reale modellato con distribuzione Gamma per verificare i nostri risultati. I risultati empirici su diversi dataset confermano le principali osservazioni relative al servizio RLLM. Speriamo che il nostro lavoro possa fornire alla comunità di ricerca e all'industria spunti per far avanzare l'inferenza dei modelli RLLM.

English

The reasoning large language model (RLLM) has been proven competitive in solving complex reasoning tasks such as mathematics, coding, compared to general LLM. However, the serving performance and behavior of RLLM remains unexplored, which may undermine the deployment and utilization of RLLM in real-world scenario. To close this gap, in this paper, we conduct a comprehensive study of RLLM service. We first perform a pilot study on comparing the serving performance between RLLM and traditional LLM and reveal that there are several distinct differences regarding serving behavior: (1) significant memory usage and fluctuations; (2) straggler requests; (3) adaptive running time; (4) domain preference. Then we further investigate whether existing inference optimization techniques are valid for RLLM. Our main takeaways are that model quantization methods and speculative decoding can improve service system efficiency with small compromise to RLLM accuracy, while prefix caching, KV cache quantization may even degrade accuracy or serving performance for small RLLM. Lastly, we conduct evaluation under real world workload modeled by Gamma distribution to verify our findings. Empirical results of real world workload evaluation across different dataset are aligned with our main findings regarding RLLM serving. We hope our work can provide the research community and industry with insights to advance RLLM inference serving.