ParEVO: Синтез кода для нерегулярных данных: высокопроизводительный параллелизм через агентную эволюцию
ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution
March 3, 2026
Авторы: Liu Yang, Zeyu Nie, Andrew Liu, Felix Zou, Deniz Altinbüken, Amir Yazdanbakhsh, Quanquan C. Liu
cs.AI
Аннотация
Переход от последовательных к параллельным вычислениям критически важен для современных высокопроизводительных приложений, однако затруднен из-за сложности освоения параллельного программирования. Эта проблема усугубляется для нерегулярных структур данных (таких как разреженные графы, несбалансированные деревья и неоднородные сетки), где статическое планирование неэффективно, а зависимости по данным непредсказуемы. Современные большие языковые модели (LLM) часто демонстрируют катастрофические сбои на таких задачах, генерируя код, подверженный скрытым состояниям гонки, взаимным блокировкам и неоптимальному масштабированию.
Мы преодолеваем этот разрыв с помощью ParEVO — фреймворка, предназначенного для синтеза высокопроизводительных параллельных алгоритмов для нерегулярных данных. Наш вклад включает: (1) Корпус Parlay-Instruct, содержащий 13 820 задач, синтезированных по конвейеру «Критик-Уточнение», который явно отбирает эмпирически производительные алгоритмы, эффективно использующие параллельные примитивы Work-Span; (2) специализированные модели DeepSeek, Qwen и Gemini, дообученные для согласования вероятностной генерации со строгой семантикой библиотеки ParlayLib; и (3) Эволюционного агента кодирования (ECA), который улучшает «последнюю милю» корректности путем итеративного исправления кода с использованием обратной связи от компиляторов, динамических детекторов гонки и профилировщиков производительности.
На бенчмарке ParEval фреймворк ParEVO демонстрирует среднее ускорение в 106 раз (с максимумом в 1103 раза) для всего набора тестов и устойчивое ускорение в 13,6 раз специально на сложных задачах с нерегулярными графами, превосходя современные коммерческие модели. Более того, наш эволюционный подход соответствует уровню лучших экспертных разработок, достигая до 4,1-кратного ускорения на отдельных сильно нерегулярных ядрах. Исходный код и наборы данных доступны по адресу https://github.com/WildAlg/ParEVO.
English
The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling.
We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers.
On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.