Desvendando o Serviço de Inferência de Modelos de Linguagem de Raciocínio: Um Estudo Empírico

Reasoning Language Model Inference Serving Unveiled: An Empirical Study

October 21, 2025

Autores: Qi Li, Junpan Wu, Xiang Liu, Yuxin Wang, Zeyu Li, Zhenheng Tang, Yuhan Chen, Shaohuai Shi, Xiaowen Chu

cs.AI

Resumo

O modelo de linguagem de grande escala com capacidade de raciocínio (RLLM) tem se mostrado competitivo na resolução de tarefas complexas de raciocínio, como matemática e codificação, em comparação com LLMs gerais. No entanto, o desempenho e o comportamento de serviço do RLLM permanecem inexplorados, o que pode comprometer a implantação e utilização do RLLM em cenários do mundo real. Para preencher essa lacuna, neste artigo, realizamos um estudo abrangente sobre o serviço de RLLM. Primeiro, realizamos um estudo piloto comparando o desempenho de serviço entre RLLM e LLM tradicional e revelamos que existem várias diferenças distintas em relação ao comportamento de serviço: (1) uso significativo de memória e flutuações; (2) requisições defasadas (straggler requests); (3) tempo de execução adaptativo; (4) preferência de domínio. Em seguida, investigamos ainda se as técnicas de otimização de inferência existentes são válidas para o RLLM. Nossas principais conclusões são que métodos de quantização de modelo e decodificação especulativa podem melhorar a eficiência do sistema de serviço com pequeno comprometimento da precisão do RLLM, enquanto o cache de prefixo e a quantização do cache KV podem até degradar a precisão ou o desempenho de serviço para RLLMs pequenos. Por fim, realizamos uma avaliação sob carga de trabalho do mundo real modelada pela distribuição Gama para verificar nossas descobertas. Os resultados empíricos da avaliação de carga de trabalho do mundo real em diferentes conjuntos de dados estão alinhados com nossas principais descobertas sobre a prestação de serviço do RLLM. Esperamos que nosso trabalho possa fornecer à comunidade de pesquisa e à indústria insights para avançar a inferência de serviço do RLLM.

English

The reasoning large language model (RLLM) has been proven competitive in solving complex reasoning tasks such as mathematics, coding, compared to general LLM. However, the serving performance and behavior of RLLM remains unexplored, which may undermine the deployment and utilization of RLLM in real-world scenario. To close this gap, in this paper, we conduct a comprehensive study of RLLM service. We first perform a pilot study on comparing the serving performance between RLLM and traditional LLM and reveal that there are several distinct differences regarding serving behavior: (1) significant memory usage and fluctuations; (2) straggler requests; (3) adaptive running time; (4) domain preference. Then we further investigate whether existing inference optimization techniques are valid for RLLM. Our main takeaways are that model quantization methods and speculative decoding can improve service system efficiency with small compromise to RLLM accuracy, while prefix caching, KV cache quantization may even degrade accuracy or serving performance for small RLLM. Lastly, we conduct evaluation under real world workload modeled by Gamma distribution to verify our findings. Empirical results of real world workload evaluation across different dataset are aligned with our main findings regarding RLLM serving. We hope our work can provide the research community and industry with insights to advance RLLM inference serving.