Раскрывая обслуживание выводов в языковых моделях рассуждений: эмпирическое исследование

Reasoning Language Model Inference Serving Unveiled: An Empirical Study

October 21, 2025

Авторы: Qi Li, Junpan Wu, Xiang Liu, Yuxin Wang, Zeyu Li, Zhenheng Tang, Yuhan Chen, Shaohuai Shi, Xiaowen Chu

cs.AI

Аннотация

Показано, что большие языковые модели с функциями логического вывода (RLLM) демонстрируют конкурентоспособность при решении сложных задач, таких как математические вычисления и программирование, по сравнению с обычными LLM. Однако производительность и поведение RLLM в режиме сервисного обслуживания остаются малоизученными, что может препятствовать их развертыванию и использованию в реальных сценариях. Для устранения этого пробела в данной работе проводится комплексное исследование сервисных характеристик RLLM. Мы сначала выполняем пилотное сравнение производительности обслуживания RLLM и традиционных LLM, выявив несколько существенных различий в поведении: (1) значительное использование памяти и ее колебания; (2) запросы-«тихоходы»; (3) адаптивное время выполнения; (4) предметная предпочтительность. Далее мы исследуем, применимы ли существующие техники оптимизации вывода к RLLM. Основные выводы свидетельствуют, что методы квантизации моделей и спекулятивное декодирование повышают эффективность сервисной системы при незначительном снижении точности RLLM, в то время как кэширование префиксов и квантизация KV-кэша могут ухудшить точность или производительность обслуживания для компактных RLLM. Наконец, мы проводим оценку в условиях реальной рабочей нагрузки, смоделированной по гамма-распределению, для верификации полученных результатов. Эмпирические данные оценки реалистичной нагрузки на различных наборах данных согласуются с основными выводами относительно обслуживания RLLM. Мы надеемся, что наша работа предоставит научному сообществу и индустрии ценные инсайты для совершенствования сервисного вывода RLLM.

English

The reasoning large language model (RLLM) has been proven competitive in solving complex reasoning tasks such as mathematics, coding, compared to general LLM. However, the serving performance and behavior of RLLM remains unexplored, which may undermine the deployment and utilization of RLLM in real-world scenario. To close this gap, in this paper, we conduct a comprehensive study of RLLM service. We first perform a pilot study on comparing the serving performance between RLLM and traditional LLM and reveal that there are several distinct differences regarding serving behavior: (1) significant memory usage and fluctuations; (2) straggler requests; (3) adaptive running time; (4) domain preference. Then we further investigate whether existing inference optimization techniques are valid for RLLM. Our main takeaways are that model quantization methods and speculative decoding can improve service system efficiency with small compromise to RLLM accuracy, while prefix caching, KV cache quantization may even degrade accuracy or serving performance for small RLLM. Lastly, we conduct evaluation under real world workload modeled by Gamma distribution to verify our findings. Empirical results of real world workload evaluation across different dataset are aligned with our main findings regarding RLLM serving. We hope our work can provide the research community and industry with insights to advance RLLM inference serving.