PACEvolve: 장기적 진행 상황 인식 일관성 있는 진화 구현

PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution

January 15, 2026

저자: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang

cs.AI

초록

대규모 언어 모델(LLM)은 진화 탐색의 강력한 연산자로 부상했으나, 효율적인 탐색 구조 설계는 여전히 임시적인 방식에 머물러 있습니다. 현재의 LLM-루프 시스템은 유망하지만 진화 과정을 체계적으로 관리하는 접근법이 부족합니다. 본 연구는 세 가지 뚜렷한 실패 모드를 규명합니다: 실험 이력이 향후 후보 생성에 편향을 일으키는 '맥락 오염', 탐색-활용 균형 부족으로 인해 에이전트가 지역 최적점에 정체되는 '모드 붕괴', 그리고 경직된 교차 전략이 병렬 탐색 경로를 효과적으로 활용하지 못하는 '약한 협력'이 그것입니다. 이러한 문제를 해결하기 위해 에이전트의 맥락과 탐색 역학을 강건하게 통제하도록 설계된 프레임워크인 진행 인지 일관성 진화(PACEvolve)를 제안합니다. PACEvolve는 계층적 맥락 관리와 가지치기를 결합하여 맥락 오염을 해결하고, 모멘텀 기반 역행 탐색으로 지역 최적점을 탈출하며, 역행 탐색과 교차를 통합한 자체 적응 샘플링 정책을 통해 동적 탐색 조정을 수행하여 에이전트가 내부 정교화와 경로 간 협력의 균형을 유지할 수 있게 합니다. 우리는 PACEvolve가 일관된 장기적 자기 개선을 위한 체계적인 경로를 제공하며, LLM-SR 및 KernelBench에서 최첨단 결과를 달성하고 Modded NanoGPT에서 기존 기록을 넘어서는 해결책을 발견함을 입증합니다.

English

Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.