ParEVO: Síntesis de Código para Datos Irregulares: Paralelismo de Alto Rendimiento mediante Evolución Agéntica

ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution

March 3, 2026

Autores: Liu Yang, Zeyu Nie, Andrew Liu, Felix Zou, Deniz Altinbüken, Amir Yazdanbakhsh, Quanquan C. Liu

cs.AI

Resumen

La transición de la computación secuencial a la paralela es esencial para las aplicaciones modernas de alto rendimiento, pero se ve obstaculizada por la pronunciada curva de aprendizaje de la programación concurrente. Este desafío se magnifica para las estructuras de datos irregulares (como grafos dispersos, árboles desbalanceados y mallas no uniformes) donde la planificación estática falla y las dependencias de datos son impredecibles. Los modelos de lenguaje grandes actuales a menudo fracasan catastróficamente en estas tareas, generando código plagado de condiciones de carrera sutiles, interbloqueos y escalado subóptimo. Cerramos esta brecha con ParEVO, un marco diseñado para sintetizar algoritmos paralelos de alto rendimiento para datos irregulares. Nuestras contribuciones incluyen: (1) El Corpus Parlay-Instruct, un conjunto de datos curado de 13.820 tareas sintetizadas mediante una canalización "Crítico-Refinamiento" que filtra explícitamente algoritmos empíricamente eficaces que utilizan eficientemente las primitivas paralelas Trabajo-Intervalo; (2) modelos especializados de DeepSeek, Qwen y Gemini ajustados para alinear la generación probabilística con la semántica rigurosa de la biblioteca ParlayLib; y (3) un Agente de Codificación Evolutivo que mejora la "última milla" de la corrección mediante la reparación iterativa del código utilizando retroalimentación de compiladores, detectores dinámicos de condiciones de carrera y generadores de perfiles de rendimiento. En el benchmark ParEval, ParEVO logra una aceleración promedio de 106x (con un máximo de 1103x) en toda la suite, y una aceleración robusta de 13.6x específicamente en problemas complejos de grafos irregulares, superando a los modelos comerciales más avanzados. Además, nuestro enfoque evolutivo iguala las líneas de base humanas expertas más avanzadas, logrando hasta una aceleración de 4.1x en núcleos altamente irregulares específicos. El código fuente y los conjuntos de datos están disponibles en https://github.com/WildAlg/ParEVO.

English

The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling. We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers. On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.