Ausführen während des Generierens: Verbergen der Ausführungslatenz bei der Codegenerierung mit großen Sprachmodellen
Executing as You Generate: Hiding Execution Latency in LLM Code Generation
April 1, 2026
Autoren: Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou, Li Li, David Lo
cs.AI
Zusammenfassung
Aktuelle LLM-basierte Code-Agenten folgen einem seriellen Ausführungsparadigma: Das Modell generiert zunächst den vollständigen Code und ruft dann einen Interpreter zu dessen Ausführung auf. Dieser sequenzielle Arbeitsablauf lässt den Ausführungsprozess während der Generierung und den Generierungsprozess während der Ausführung inaktiv, was zu unnötiger End-to-End-Latenz führt. Wir beobachten, dass LLMs – anders als menschliche Entwickler – Code-Token sequenziell ohne Überarbeitung erzeugen, was es ermöglicht, Code bereits während seiner Generierung auszuführen. Wir formalisieren dieses parallele Ausführungsparadigma, modellieren es als eine dreistufige Pipeline aus Generierung, Erkennung und Ausführung und leiten geschlossene Latenzschranken ab, die sein Beschleunigungspotenzial und seine Betriebsbereiche charakterisieren. Anschließend stellen wir Eager vor, eine konkrete Implementierung mit AST-basiertem Chunking, dynamischem Batching mit gated Execution und frühzeitiger Fehlerunterbrechung. Wir evaluieren Eager anhand von vier Benchmarks, sieben LLMs und drei Ausführungsumgebungen. Die Ergebnisse zeigen, dass Eager die nicht-überlappte Ausführungslatenz um bis zu 99,9 % und die End-to-End-Latenz über sieben LLMs und vier Benchmarks hinweg um bis zu 55 % reduziert.
English
Current LLM-based coding agents follow a serial execution paradigm: the model first generates the complete code, then invokes an interpreter to execute it. This sequential workflow leaves the executor idle during generation and the generator idle during execution, resulting in unnecessary end-to-end latency. We observe that, unlike human developers, LLMs produce code tokens sequentially without revision, making it possible to execute code as it is being generated. We formalize this parallel execution paradigm, modeling it as a three-stage pipeline of generation, detection, and execution, and derive closed-form latency bounds that characterize its speedup potential and operating regimes. We then present Eager, a concrete implementation featuring AST-based chunking, dynamic batching with gated execution, and early error interruption. We evaluate Eager across four benchmarks, seven LLMs, and three execution environments. Results show that Eager reduces the non-overlapped execution latency by up to 99.9% and the end-to-end latency by up to 55% across seven LLMs and four benchmarks.