TimeBill: Zeitbudgetierte Inferenz für große Sprachmodelle

TimeBill: Time-Budgeted Inference for Large Language Models

December 26, 2025

papers.authors: Qi Fan, An Zou, Yehan Ma

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) kommen zunehmend in zeitkritischen Systemen wie Robotik, autonomes Fahren, verkörperte Intelligenz und industrielle Automatisierung zum Einsatz, wo die Erzeugung genauer Antworten innerhalb eines vorgegebenen Zeitbudgets für entscheidungs-, steuerungs- oder sicherheitskritische Aufgaben von entscheidender Bedeutung ist. Der autoregressive Generierungsprozess von LLMs erschwert jedoch die Modellierung und Schätzung der End-to-End-Ausführungszeit. Darüber hinaus haben bestehende effiziente Inferenzmethoden, die auf einem festen Verhältnis zur Auslagerung des Key-Value (KV)-Caches basieren, Schwierigkeiten, sich an variierende Aufgaben mit unterschiedlichen Zeitbudgets anzupassen, da ein ungeeignetes Auslagerungsverhältnis zu unvollständiger Inferenz oder einem Leistungsabfall der Antwort führen kann. In diesem Artikel schlagen wir TimeBill vor, ein neuartiges Inferenzframework für LLMs mit Zeitbudget, das Inferenzeffizienz und Antwortleistung in Einklang bringt. Konkret schlagen wir einen feinkörnigen Antwortlängenprädiktor (RLP) und einen Ausführungszeitschätzer (ETE) vor, um die End-to-End-Ausführungszeit von LLMs genau vorherzusagen. Darauf aufbauend entwickeln wir einen zeitorientierten effizienten Inferenzansatz, der das KV-Cache-Auslagerungsverhältnis basierend auf der Ausführungszeitschätzung und dem gegebenen Zeitbudget adaptiv anpasst. Abschließend demonstrieren wir durch umfangreiche Experimente die Vorteile von TimeBill bei der Verbesserung der Aufgabenabschlussrate und der Aufrechterhaltung der Antwortleistung unter verschiedenen Überschreitungsstrategien.

English

Large Language Models (LLMs) are increasingly deployed in time-critical systems, such as robotics, autonomous driving, embodied intelligence, and industrial automation, where generating accurate responses within a given time budget is crucial for decision-making, control, or safety-critical tasks. However, the auto-regressive generation process of LLMs makes it challenging to model and estimate the end-to-end execution time. Furthermore, existing efficient inference methods based on a fixed key-value (KV) cache eviction ratio struggle to adapt to varying tasks with diverse time budgets, where an improper eviction ratio may lead to incomplete inference or a drop in response performance. In this paper, we propose TimeBill, a novel time-budgeted inference framework for LLMs that balances the inference efficiency and response performance. To be more specific, we propose a fine-grained response length predictor (RLP) and an execution time estimator (ETE) to accurately predict the end-to-end execution time of LLMs. Following this, we develop a time-budgeted efficient inference approach that adaptively adjusts the KV cache eviction ratio based on execution time prediction and the given time budget. Finally, through extensive experiments, we demonstrate the advantages of TimeBill in improving task completion rate and maintaining response performance under various overrun strategies.