TimeBill: Вывод с временным бюджетом для больших языковых моделей

TimeBill: Time-Budgeted Inference for Large Language Models

December 26, 2025

Авторы: Qi Fan, An Zou, Yehan Ma

cs.AI

Аннотация

Крупные языковые модели (LLM) все чаще развертываются в системах с жесткими временными ограничениями, таких как робототехника, автономное вождение, воплощенный искусственный интеллект и промышленная автоматизация, где генерация точных ответов в рамках заданного временного бюджета критически важна для принятия решений, управления или выполнения задач, связанных с безопасностью. Однако авторегрессионный процесс генерации LLM затрудняет моделирование и оценку сквозного времени выполнения. Более того, существующие методы эффективного вывода, основанные на фиксированном коэффициенте вытеснения кэша ключ-значение (KV), плохо адаптируются к различным задачам с разнородными временными бюджетами, где неподходящий коэффициент вытеснения может привести к неполному выводу или снижению качества ответа. В данной статье мы предлагаем TimeBill — новую архитектуру вывода для LLM с временным бюджетом, которая балансирует эффективность вывода и качество ответа. Если конкретнее, мы предлагаем мелкозернистый предиктор длины ответа (Response Length Predictor, RLP) и оценщик времени выполнения (Execution Time Estimator, ETE) для точного прогнозирования сквозного времени выполнения LLM. На основе этого мы разрабатываем метод эффективного вывода с временным бюджетом, который адаптивно регулирует коэффициент вытеснения KV-кэша на основе прогноза времени выполнения и заданного временного бюджета. Наконец, в ходе обширных экспериментов мы демонстрируем преимущества TimeBill в повышении процента завершения задач и сохранении качества ответа при различных стратегиях обработки превышения бюджета.

English

Large Language Models (LLMs) are increasingly deployed in time-critical systems, such as robotics, autonomous driving, embodied intelligence, and industrial automation, where generating accurate responses within a given time budget is crucial for decision-making, control, or safety-critical tasks. However, the auto-regressive generation process of LLMs makes it challenging to model and estimate the end-to-end execution time. Furthermore, existing efficient inference methods based on a fixed key-value (KV) cache eviction ratio struggle to adapt to varying tasks with diverse time budgets, where an improper eviction ratio may lead to incomplete inference or a drop in response performance. In this paper, we propose TimeBill, a novel time-budgeted inference framework for LLMs that balances the inference efficiency and response performance. To be more specific, we propose a fine-grained response length predictor (RLP) and an execution time estimator (ETE) to accurately predict the end-to-end execution time of LLMs. Following this, we develop a time-budgeted efficient inference approach that adaptively adjusts the KV cache eviction ratio based on execution time prediction and the given time budget. Finally, through extensive experiments, we demonstrate the advantages of TimeBill in improving task completion rate and maintaining response performance under various overrun strategies.