ParEVO: Synthese von Code für unregelmäßige Daten: Hochleistungs-Parallelität durch agentenbasierte Evolution

ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution

March 3, 2026

Autoren: Liu Yang, Zeyu Nie, Andrew Liu, Felix Zou, Deniz Altinbüken, Amir Yazdanbakhsh, Quanquan C. Liu

cs.AI

Zusammenfassung

Der Übergang von sequenzieller zu paralleler Programmierung ist für moderne Hochleistungsanwendungen unerlässlich, wird jedoch durch die steile Lernkurve der nebenläufigen Programmierung behindert. Diese Herausforderung vergrößert sich bei unregelmäßigen Datenstrukturen (wie z. B. dünn besetzte Graphen, unausgeglichene Bäume und nicht-uniforme Netze), bei denen statische Planung versagt und Datenabhängigkeiten unvorhersehbar sind. Aktuelle Large Language Models (LLMs) versagen bei diesen Aufgaben oft katastrophal und erzeugen Code, der von subtilen Wettlaufsituationen, Deadlocks und suboptimaler Skalierung geplagt ist. Wir schließen diese Lücke mit ParEVO, einem Framework zur Synthese hochperformanter paralleler Algorithmen für unregelmäßige Daten. Unsere Beiträge umfassen: (1) Das Parlay-Instruct Corpus, einen kuratierten Datensatz von 13.820 Aufgaben, die über eine "Critic-Refine"-Pipeline synthetisiert wurden und explizit empirisch leistungsstarke Algorithmen herausfiltern, die Work-Span-Parallelprimitiven effektiv nutzen; (2) spezialisierte DeepSeek-, Qwen- und Gemini-Modelle, die feinabgestimmt wurden, um die probabilistische Generierung mit der strengen Semantik der ParlayLib-Bibliothek in Einklang zu bringen; und (3) einen Evolutionary Coding Agent (ECA), der die "letzte Meile" der Korrektheit verbessert, indem er Code iterativ unter Verwendung von Feedback von Compilern, dynamischen Wettlauferkennern und Leistungsprofilern repariert. Im ParEval-Benchmark erzielt ParEVO eine durchschnittliche Beschleunigung um den Faktor 106 (mit einem Maximum von 1103x) über die gesamte Testsuite und eine robuste Beschleunigung um den Faktor 13,6 speziell bei komplexen unregelmäßigen Graphenproblemen, womit es state-of-the-art kommerzielle Modelle übertrifft. Darüber hinaus erreicht unser evolutionärer Ansatz das Niveau modernster menschlicher Experten-Baselines und erzielt bei bestimmten hochgradig unregelmäßigen Kerneln eine Beschleunigung von bis zu 4,1x. Quellcode und Datensätze sind unter https://github.com/WildAlg/ParEVO verfügbar.

English

The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling. We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers. On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.