ParEVO : Synthèse de code pour données irrégulières : Parallélisme haute performance par évolution agentique
ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution
March 3, 2026
Auteurs: Liu Yang, Zeyu Nie, Andrew Liu, Felix Zou, Deniz Altinbüken, Amir Yazdanbakhsh, Quanquan C. Liu
cs.AI
Résumé
La transition du calcul séquentiel au calcul parallèle est essentielle pour les applications modernes à haute performance, mais elle est entravée par la courbe d'apprentissage abrupte de la programmation concurrente. Ce défi est amplifié pour les structures de données irrégulières (telles que les graphes creux, les arbres déséquilibrés et les maillages non uniformes) où l'ordonnancement statique échoue et les dépendances de données sont imprévisibles. Les grands modèles de langage (LLM) actuels échouent souvent de manière catastrophique sur ces tâches, générant un code entaché de conditions de course subtiles, d'interblocages et de mise à l'échelle sous-optimale.
Nous comblons cette lacune avec ParEVO, un cadre conçu pour synthétiser des algorithmes parallèles à haute performance pour les données irrégulières. Nos contributions incluent : (1) Le corpus Parlay-Instruct, un ensemble de données organisé de 13 820 tâches synthétisées via un pipeline "Critique-Raffinage" qui filtre explicitement les algorithmes performants empiriquement et utilisant efficacement les primitives parallèles Work-Span ; (2) des modèles spécialisés DeepSeek, Qwen et Gemini affinés pour aligner la génération probabiliste sur la sémantique rigoureuse de la bibliothèque ParlayLib ; et (3) un Agent de Codage Évolutif (ECA) qui améliore le "dernier kilomètre" de la correction en réparant itérativement le code à l'aide des retours des compilateurs, des détecteurs de course dynamiques et des profileurs de performance.
Sur le benchmark ParEval, ParEVO atteint une accélération moyenne de 106x (avec un maximum de 1103x) sur l'ensemble de la suite, et une accélération robuste de 13,6x spécifiquement sur les problèmes de graphes irréguliers complexes, surpassant les modèles commerciaux de pointe. De plus, notre approche évolutive égale les références humaines expertes de pointe, atteignant jusqu'à une accélération de 4,1x sur des noyaux spécifiques hautement irréguliers. Le code source et les ensembles de données sont disponibles à l'adresse https://github.com/WildAlg/ParEVO.
English
The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling.
We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers.
On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.