Servicio de Inferencia de Modelos de Lenguaje de Razonamiento al Descubierto: Un Estudio Empírico

Reasoning Language Model Inference Serving Unveiled: An Empirical Study

October 21, 2025

Autores: Qi Li, Junpan Wu, Xiang Liu, Yuxin Wang, Zeyu Li, Zhenheng Tang, Yuhan Chen, Shaohuai Shi, Xiaowen Chu

cs.AI

Resumen

El modelo de lenguaje de gran tamaño para razonamiento (RLLM, por sus siglas en inglés) ha demostrado ser competitivo en la resolución de tareas de razonamiento complejas como matemáticas y codificación, en comparación con los LLM generales. Sin embargo, el rendimiento y comportamiento en servicio del RLLM permanece inexplorado, lo que podría comprometer el despliegue y utilización del RLLM en escenarios del mundo real. Para cerrar esta brecha, en este artículo realizamos un estudio integral del servicio RLLM. Primero llevamos a cabo un estudio piloto comparando el rendimiento en servicio entre RLLM y LLM tradicionales, revelando que existen varias diferencias distintivas respecto al comportamiento de servicio: (1) uso significativo de memoria y fluctuaciones; (2) solicitudes rezagadas; (3) tiempo de ejecución adaptativo; (4) preferencia de dominio. Luego investigamos más a fondo si las técnicas de optimización de inferencia existentes son válidas para RLLM. Nuestras principales conclusiones son que los métodos de cuantización de modelos y la decodificación especulativa pueden mejorar la eficiencia del sistema de servicio con un pequeño compromiso en la precisión del RLLM, mientras que el almacenamiento en caché de prefijos y la cuantización de la caché KV pueden incluso degradar la precisión o el rendimiento de servicio para RLLM pequeños. Finalmente, realizamos una evaluación bajo cargas de trabajo del mundo real modeladas mediante distribución Gamma para verificar nuestros hallazgos. Los resultados empíricos de la evaluación con cargas de trabajo reales en diferentes conjuntos de datos concuerdan con nuestras principales conclusiones sobre el servicio RLLM. Esperamos que nuestro trabajo pueda proporcionar a la comunidad investigadora y la industria perspectivas para avanzar en el servicio de inferencia de RLLM.

English

The reasoning large language model (RLLM) has been proven competitive in solving complex reasoning tasks such as mathematics, coding, compared to general LLM. However, the serving performance and behavior of RLLM remains unexplored, which may undermine the deployment and utilization of RLLM in real-world scenario. To close this gap, in this paper, we conduct a comprehensive study of RLLM service. We first perform a pilot study on comparing the serving performance between RLLM and traditional LLM and reveal that there are several distinct differences regarding serving behavior: (1) significant memory usage and fluctuations; (2) straggler requests; (3) adaptive running time; (4) domain preference. Then we further investigate whether existing inference optimization techniques are valid for RLLM. Our main takeaways are that model quantization methods and speculative decoding can improve service system efficiency with small compromise to RLLM accuracy, while prefix caching, KV cache quantization may even degrade accuracy or serving performance for small RLLM. Lastly, we conduct evaluation under real world workload modeled by Gamma distribution to verify our findings. Empirical results of real world workload evaluation across different dataset are aligned with our main findings regarding RLLM serving. We hope our work can provide the research community and industry with insights to advance RLLM inference serving.