ParEVO: Sintesi di Codice per Dati Irregolari: Parallelismo ad Alte Prestazioni tramite Evoluzione Agente
ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution
March 3, 2026
Autori: Liu Yang, Zeyu Nie, Andrew Liu, Felix Zou, Deniz Altinbüken, Amir Yazdanbakhsh, Quanquan C. Liu
cs.AI
Abstract
La transizione dalla computazione sequenziale a quella parallela è essenziale per le moderne applicazioni ad alte prestazioni, ma è ostacolata dalla ripida curva di apprendimento della programmazione concorrente. Questa sfida è amplificata per le strutture di dati irregolari (come grafi sparsi, alberi non bilanciati e mesh non uniformi) dove la schedulazione statica fallisce e le dipendenze dei dati sono imprevedibili. Gli attuali Large Language Model (LLM) spesso falliscono in modo catastrofico in questi compiti, generando codice afflitto da sottili condizioni di competizione (race condition), deadlock e scalabilità subottimale.
Colmiamo questa lacuna con ParEVO, un framework progettato per sintetizzare algoritmi paralleli ad alte prestazioni per dati irregolari. I nostri contributi includono: (1) Il Parlay-Instruct Corpus, un dataset curato di 13.820 task sintetizzati attraverso una pipeline "Critic-Refine" che filtra esplicitamente algoritmi empiricamente performanti che utilizzano efficacemente le primitive parallele Work-Span; (2) modelli specializzati DeepSeek, Qwen e Gemini ottimizzati (fine-tuned) per allineare la generazione probabilistica con la rigorosa semantica della libreria ParlayLib; e (3) un Agente di Codifica Evolutivo (Evolutionary Coding Agent - ECA) che migliora l'"ultimo miglio" della correttezza riparando iterativamente il codice utilizzando feedback da compilatori, rilevatori dinamici di race condition e profilatori delle prestazioni.
Sul benchmark ParEval, ParEVO raggiunge un speedup medio di 106x (con un massimo di 1103x) sull'intera suite e un solido speedup di 13.6x specificamente su complessi problemi di grafi irregolari, superando i modelli commerciali all'avanguardia. Inoltre, il nostro approccio evolutivo eguaglia i benchmark umani esperti allo stato dell'arte, raggiungendo fino a un speedup di 4.1x su specifici kernel altamente irregolari. Il codice sorgente e i dataset sono disponibili all'indirizzo https://github.com/WildAlg/ParEVO.
English
The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling.
We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers.
On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.