ParEVO: Síntese de Código para Dados Irregulares: Paralelismo de Alto Desempenho através de Evolução Agente
ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution
March 3, 2026
Autores: Liu Yang, Zeyu Nie, Andrew Liu, Felix Zou, Deniz Altinbüken, Amir Yazdanbakhsh, Quanquan C. Liu
cs.AI
Resumo
A transição da computação sequencial para a paralela é essencial para aplicações modernas de alto desempenho, mas é dificultada pela curva de aprendizagem íngreme da programação concorrente. Este desafio é ampliado para estruturas de dados irregulares (como grafos esparsos, árvores desbalanceadas e malhas não uniformes), onde o escalonamento estático falha e as dependências de dados são imprevisíveis. Os atuais Modelos de Linguagem de Grande Porte (LLMs) frequentemente falham de forma catastrófica nessas tarefas, gerando código prejudicado por condições de corrida subtis, *deadlocks* e escalabilidade subótima.
Nós colmatamos esta lacuna com o ParEVO, uma estrutura concebida para sintetizar algoritmos paralelos de alto desempenho para dados irregulares. As nossas contribuições incluem: (1) O Parlay-Instruct Corpus, um conjunto de dados curado de 13.820 tarefas sintetizadas através de um pipeline "Crítico-Refinador" que filtra explicitamente algoritmos empiricamente performantes que utilizam eficazmente primitivas paralelas Work-Span; (2) modelos especializados de DeepSeek, Qwen e Gemini afinados para alinhar a geração probabilística com a semântica rigorosa da biblioteca ParlayLib; e (3) um Agente de Codificação Evolutivo (ECA) que melhora a "última milha" da correção reparando iterativamente o código usando *feedback* de compiladores, detetores dinâmicos de condições de corrida e *profilers* de desempenho.
No benchmark ParEval, o ParEVO alcança uma aceleração média de 106x (com um máximo de 1103x) em todo o conjunto de testes, e uma aceleração robusta de 13.6x especificamente em problemas complexos de grafos irregulares, superando os modelos comerciais state-of-the-art. Além disso, a nossa abordagem evolutiva iguala os *baselines* humanos especializados state-of-the-art, alcançando até uma aceleração de 4.1x em *kernels* altamente irregulares específicos. O código fonte e os conjuntos de dados estão disponíveis em https://github.com/WildAlg/ParEVO.
English
The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling.
We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers.
On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.