TimeBill: Inferencia con Presupuesto de Tiempo para Modelos de Lenguaje a Gran Escala

TimeBill: Time-Budgeted Inference for Large Language Models

December 26, 2025

Autores: Qi Fan, An Zou, Yehan Ma

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs) se despliegan cada vez más en sistemas sensibles al tiempo, como la robótica, la conducción autónoma, la inteligencia corporeizada y la automatización industrial, donde generar respuestas precisas dentro de un límite de tiempo determinado es crucial para la toma de decisiones, el control o tareas críticas para la seguridad. Sin embargo, el proceso de generación auto-regresivo de los LLMs hace que sea un desafío modelar y estimar el tiempo de ejecución de extremo a extremo. Además, los métodos de inferencia eficiente existentes, basados en una tasa fija de expulsión de la caché clave-valor (KV), tienen dificultades para adaptarse a tareas variables con distintos límites de tiempo, donde una tasa de expulsión inadecuada puede llevar a una inferencia incompleta o a una caída en el rendimiento de la respuesta. En este artículo, proponemos TimeBill, un novedoso marco de inferencia con presupuesto de tiempo para LLMs que equilibra la eficiencia de la inferencia y el rendimiento de la respuesta. Más concretamente, proponemos un predictor de longitud de respuesta de grano fino (RLP) y un estimador de tiempo de ejecución (ETE) para predecir con precisión el tiempo de ejecución de extremo a extremo de los LLMs. A continuación, desarrollamos un enfoque de inferencia eficiente con presupuesto de tiempo que ajusta adaptativamente la tasa de expulsión de la caché KV en función de la predicción del tiempo de ejecución y del límite de tiempo dado. Finalmente, mediante experimentos exhaustivos, demostramos las ventajas de TimeBill para mejorar la tasa de finalización de tareas y mantener el rendimiento de la respuesta bajo diversas estrategias de desbordamiento.

English

Large Language Models (LLMs) are increasingly deployed in time-critical systems, such as robotics, autonomous driving, embodied intelligence, and industrial automation, where generating accurate responses within a given time budget is crucial for decision-making, control, or safety-critical tasks. However, the auto-regressive generation process of LLMs makes it challenging to model and estimate the end-to-end execution time. Furthermore, existing efficient inference methods based on a fixed key-value (KV) cache eviction ratio struggle to adapt to varying tasks with diverse time budgets, where an improper eviction ratio may lead to incomplete inference or a drop in response performance. In this paper, we propose TimeBill, a novel time-budgeted inference framework for LLMs that balances the inference efficiency and response performance. To be more specific, we propose a fine-grained response length predictor (RLP) and an execution time estimator (ETE) to accurately predict the end-to-end execution time of LLMs. Following this, we develop a time-budgeted efficient inference approach that adaptively adjusts the KV cache eviction ratio based on execution time prediction and the given time budget. Finally, through extensive experiments, we demonstrate the advantages of TimeBill in improving task completion rate and maintaining response performance under various overrun strategies.