Uitvoeren terwijl je genereert: Het verbergen van uitvoeringslatentie bij codegeneratie met grote taalmodellen

Executing as You Generate: Hiding Execution Latency in LLM Code Generation

April 1, 2026

Auteurs: Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou, Li Li, David Lo

cs.AI

Samenvatting

Huidige op LLM gebaseerde codeeragenten volgen een paradigma van seriële uitvoering: het model genereert eerst de volledige code, waarna het een interpreter aanroept om deze uit te voeren. Deze opeenvolgende werkstroom laat de uitvoerder inactief tijdens de generatie en de generator inactief tijdens de uitvoering, wat resulteert in onnodige end-to-end latentie. Wij observeren dat, in tegenstelling tot menselijke ontwikkelaars, LLMs codetokens sequentieel produceren zonder revisie, waardoor het mogelijk is om code uit te voeren terwijl deze wordt gegenereerd. Wij formaliseren dit parallelle uitvoeringsparadigma door het te modelleren als een drietraps pijplijn van generatie, detectie en uitvoering, en leiden gesloten latentiegrenzen af die de snelheidspotentie en werkingsgebieden karakteriseren. Vervolgens presenteren we Eager, een concrete implementatie met AST-gebaseerd chunking, dynamische batchverwerking met 'gated execution' en vroege foutonderbreking. Wij evalueren Eager over vier benchmarks, zeven LLMs en drie uitvoeringsomgevingen. Resultaten tonen aan dat Eager de niet-overlappende uitvoeringslatentie met tot 99,9% vermindert en de end-to-end latentie met tot 55% over zeven LLMs en vier benchmarks.

English

Current LLM-based coding agents follow a serial execution paradigm: the model first generates the complete code, then invokes an interpreter to execute it. This sequential workflow leaves the executor idle during generation and the generator idle during execution, resulting in unnecessary end-to-end latency. We observe that, unlike human developers, LLMs produce code tokens sequentially without revision, making it possible to execute code as it is being generated. We formalize this parallel execution paradigm, modeling it as a three-stage pipeline of generation, detection, and execution, and derive closed-form latency bounds that characterize its speedup potential and operating regimes. We then present Eager, a concrete implementation featuring AST-based chunking, dynamic batching with gated execution, and early error interruption. We evaluate Eager across four benchmarks, seven LLMs, and three execution environments. Results show that Eager reduces the non-overlapped execution latency by up to 99.9% and the end-to-end latency by up to 55% across seven LLMs and four benchmarks.