Исполнение по мере генерации: скрытие задержки выполнения при генерации кода большими языковыми моделями
Executing as You Generate: Hiding Execution Latency in LLM Code Generation
April 1, 2026
Авторы: Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou, Li Li, David Lo
cs.AI
Аннотация
Современные кодирующие агенты на основе больших языковых моделей следуют парадигме последовательного выполнения: модель сначала генерирует полный код, затем вызывает интерпретатор для его выполнения. Такой последовательный рабочий процесс оставляет исполнитель в простое во время генерации, а генератор — во время выполнения, что приводит к неоправданной сквозной задержке. Мы наблюдаем, что, в отличие от людей-разработчиков, языковые модели производят токены кода последовательно без пересмотра, что делает возможным выполнение кода по мере его генерации. Мы формализуем эту парадигму параллельного выполнения, моделируя её как трёхстадийный конвейер из генерации, обнаружения и выполнения, и выводим аналитические оценки задержек, характеризующие потенциал ускорения и режимы работы. Затем мы представляем Eager — конкретную реализацию, включающую чанкование на основе AST, динамическое пакетирование с управляемым выполнением и прерывание при ранних ошибках. Мы оцениваем Eager на четырёх тестовых наборах, семи языковых моделях и трёх средах выполнения. Результаты показывают, что Eager сокращает неперекрываемую задержку выполнения до 99,9%, а сквозную задержку — до 55% для семи языковых моделей и четырёх тестовых наборов.
English
Current LLM-based coding agents follow a serial execution paradigm: the model first generates the complete code, then invokes an interpreter to execute it. This sequential workflow leaves the executor idle during generation and the generator idle during execution, resulting in unnecessary end-to-end latency. We observe that, unlike human developers, LLMs produce code tokens sequentially without revision, making it possible to execute code as it is being generated. We formalize this parallel execution paradigm, modeling it as a three-stage pipeline of generation, detection, and execution, and derive closed-form latency bounds that characterize its speedup potential and operating regimes. We then present Eager, a concrete implementation featuring AST-based chunking, dynamic batching with gated execution, and early error interruption. We evaluate Eager across four benchmarks, seven LLMs, and three execution environments. Results show that Eager reduces the non-overlapped execution latency by up to 99.9% and the end-to-end latency by up to 55% across seven LLMs and four benchmarks.