TimeBill: Inferência com Orçamento de Tempo para Modelos de Linguagem de Grande Porte
TimeBill: Time-Budgeted Inference for Large Language Models
December 26, 2025
Autores: Qi Fan, An Zou, Yehan Ma
cs.AI
Resumo
Os Grandes Modelos de Linguagem (LLMs) estão cada vez mais sendo implantados em sistemas sensíveis ao tempo, como robótica, condução autónoma, inteligência incorporada e automação industrial, onde a geração de respostas precisas dentro de um orçamento de tempo determinado é crucial para tarefas de tomada de decisão, controlo ou de segurança crítica. No entanto, o processo de geração autorregressiva dos LLMs torna difícil modelar e estimar o tempo de execução de ponta a ponta. Além disso, os métodos de inferência eficiente existentes, baseados numa taxa fixa de remoção da cache de chave-valor (KV), têm dificuldade em adaptar-se a tarefas variadas com orçamentos de tempo diversos, onde uma taxa de remoção inadequada pode levar a uma inferência incompleta ou a uma queda no desempenho da resposta. Neste artigo, propomos o TimeBill, uma nova estrutura de inferência com orçamento de tempo para LLMs que equilibra a eficiência da inferência e o desempenho da resposta. Mais especificamente, propomos um preditor de comprimento de resposta de granularidade fina (RLP) e um estimador de tempo de execução (ETE) para prever com precisão o tempo de execução de ponta a ponta dos LLMs. A seguir, desenvolvemos uma abordagem de inferência eficiente com orçamento de tempo que ajusta adaptativamente a taxa de remoção da cache KV com base na previsão do tempo de execução e no orçamento de tempo dado. Finalmente, através de experiências extensivas, demonstramos as vantagens do TimeBill na melhoria da taxa de conclusão de tarefas e na manutenção do desempenho da resposta sob várias estratégias de excesso de tempo.
English
Large Language Models (LLMs) are increasingly deployed in time-critical systems, such as robotics, autonomous driving, embodied intelligence, and industrial automation, where generating accurate responses within a given time budget is crucial for decision-making, control, or safety-critical tasks. However, the auto-regressive generation process of LLMs makes it challenging to model and estimate the end-to-end execution time. Furthermore, existing efficient inference methods based on a fixed key-value (KV) cache eviction ratio struggle to adapt to varying tasks with diverse time budgets, where an improper eviction ratio may lead to incomplete inference or a drop in response performance. In this paper, we propose TimeBill, a novel time-budgeted inference framework for LLMs that balances the inference efficiency and response performance. To be more specific, we propose a fine-grained response length predictor (RLP) and an execution time estimator (ETE) to accurately predict the end-to-end execution time of LLMs. Following this, we develop a time-budgeted efficient inference approach that adaptively adjusts the KV cache eviction ratio based on execution time prediction and the given time budget. Finally, through extensive experiments, we demonstrate the advantages of TimeBill in improving task completion rate and maintaining response performance under various overrun strategies.