Executar à Medida que Gera: Ocultando a Latência de Execução na Geração de Código por LLMs
Executing as You Generate: Hiding Execution Latency in LLM Code Generation
April 1, 2026
Autores: Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou, Li Li, David Lo
cs.AI
Resumo
Os agentes de codificação baseados em LLM atuais seguem um paradigma de execução serial: o modelo primeiro gera o código completo e, em seguida, invoca um interpretador para executá-lo. Este fluxo de trabalho sequencial deixa o executor inativo durante a geração e o gerador inativo durante a execução, resultando em latência de ponta a ponta desnecessária. Observamos que, ao contrário dos desenvolvedores humanos, os LLMs produzem tokens de código sequencialmente sem revisão, tornando possível executar o código à medida que ele é gerado. Formalizamos este paradigma de execução paralela, modelando-o como um pipeline de três estágios de geração, detecção e execução, e derivamos limites de latência de forma fechada que caracterizam seu potencial de aceleração e regimes de operação. Em seguida, apresentamos o Eager, uma implementação concreta que apresenta fragmentação baseada em AST, lotação dinâmica com execução controlada e interrupção antecipada de erros. Avaliamos o Eager em quatro benchmarks, sete LLMs e três ambientes de execução. Os resultados mostram que o Eager reduz a latência de execução não sobreposta em até 99,9% e a latência de ponta a ponta em até 55% em sete LLMs e quatro benchmarks.
English
Current LLM-based coding agents follow a serial execution paradigm: the model first generates the complete code, then invokes an interpreter to execute it. This sequential workflow leaves the executor idle during generation and the generator idle during execution, resulting in unnecessary end-to-end latency. We observe that, unlike human developers, LLMs produce code tokens sequentially without revision, making it possible to execute code as it is being generated. We formalize this parallel execution paradigm, modeling it as a three-stage pipeline of generation, detection, and execution, and derive closed-form latency bounds that characterize its speedup potential and operating regimes. We then present Eager, a concrete implementation featuring AST-based chunking, dynamic batching with gated execution, and early error interruption. We evaluate Eager across four benchmarks, seven LLMs, and three execution environments. Results show that Eager reduces the non-overlapped execution latency by up to 99.9% and the end-to-end latency by up to 55% across seven LLMs and four benchmarks.