ParEVO: 불규칙 데이터를 위한 코드 합성: 에이전트 진화를 통한 고성능 병렬 처리

초록

순차 컴퓨팅에서 병렬 컴퓨팅으로의 전환은 현대 고성능 애플리케이션에 필수적이지만, 동시성 프로그래밍의 높은 학습 곡선으로 인해 방해를 받고 있습니다. 이 문제는 정적 스케줄링이 실패하고 데이터 의존성이 예측 불가능한 불규칙 데이터 구조(예: 희소 그래프, 불균형 트리, 비정형 메쉬)에서 더욱 두드러집니다. 현재의 대형 언어 모델(LLM)은 이러한 작업에서 종종 치명적인 실패를 보이며, 미묘한 경쟁 조건, 교착 상태, 그리고 최적이 아닌 확장성을 지닌 코드를 생성합니다. 우리는 이러한 격차를 ParEVO로 메꿉니다. ParEVO는 불규칙 데이터를 위한 고성능 병렬 알고리즘을 합성하기 위해 설계된 프레임워크입니다. 우리의 기여는 다음과 같습니다: (1) 경험적으로 성능이 우수하고 Work-Span 병렬 기본 요소를 효과적으로 활용하는 알고리즘을 명시적으로 필터링하는 "Critic-Refine" 파이프라인을 통해 합성된 13,820개 작업으로 구성된 정제된 데이터셋인 Parlay-Instruct Corpus; (2) 확률적 생성이 ParlayLib 라이브러리의 엄격한 의미론과 일치하도록 미세 조정된 전용 DeepSeek, Qwen 및 Gemini 모델; (3) 컴파일러, 동적 경쟁 조건 검출기, 성능 프로파일러의 피드백을 사용하여 코드를 반복적으로 수정하여 정확도의 "라스트 마일"을 개선하는 진화형 코딩 에이전트(ECA)입니다. ParEval 벤치마크에서 ParEVO는 전체 스위트에서 평균 106배(최대 1103배)의 속도 향상을, 특히 복잡한 불규칙 그래프 문제에서는 견고한 13.6배의 속도 향상을 달성하여 최첨단 상용 모델을 능가했습니다. 더 나아가, 우리의 진화적 접근 방식은 최첨단 인간 전문가 기준선과 견줄 만하며, 특정 고도로 불규칙한 커널에서 최대 4.1배의 속도 향상을 달성했습니다. 소스 코드와 데이터셋은 https://github.com/WildAlg/ParEVO에서 이용할 수 있습니다.

English

The transition from sequential to parallel computing is essential for modern high-performance applications but is hindered by the steep learning curve of concurrent programming. This challenge is magnified for irregular data structures (such as sparse graphs, unbalanced trees, and non-uniform meshes) where static scheduling fails and data dependencies are unpredictable. Current Large Language Models (LLMs) often fail catastrophically on these tasks, generating code plagued by subtle race conditions, deadlocks, and sub-optimal scaling. We bridge this gap with ParEVO, a framework designed to synthesize high-performance parallel algorithms for irregular data. Our contributions include: (1) The Parlay-Instruct Corpus, a curated dataset of 13,820 tasks synthesized via a "Critic-Refine" pipeline that explicitly filters for empirically performant algorithms that effectively utilize Work-Span parallel primitives; (2) specialized DeepSeek, Qwen, and Gemini models fine-tuned to align probabilistic generation with the rigorous semantics of the ParlayLib library; and (3) an Evolutionary Coding Agent (ECA) that improves the "last mile" of correctness by iteratively repairing code using feedback from compilers, dynamic race detectors, and performance profilers. On the ParEval benchmark, ParEVO achieves an average 106x speedup (with a maximum of 1103x) across the suite, and a robust 13.6x speedup specifically on complex irregular graph problems, outperforming state-of-the-art commercial models. Furthermore, our evolutionary approach matches state-of-the-art expert human baselines, achieving up to a 4.1x speedup on specific highly-irregular kernels. Source code and datasets are available at https://github.com/WildAlg/ParEVO.

ParEVO: 불규칙 데이터를 위한 코드 합성: 에이전트 진화를 통한 고성능 병렬 처리

ParEVO: Synthesizing Code for Irregular Data: High-Performance Parallelism through Agentic Evolution

초록

Support