PACEvolve: 長期的な進捗を考慮した一貫性ある進化の実現
PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution
January 15, 2026
著者: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang
cs.AI
要旨
大規模言語モデル（LLM）は進化探索の強力な演算子として登場したが、効率的な探索の足場の設計は依然として場当たり的である。現在のLLMインザループシステムは有望であるものの、進化プロセスを体系的に管理するアプローチを欠いている。我々は3つの異なる失敗モードを特定した：実験履歴が将来の候補生成にバイアスをもたらす「文脈汚染」、探索と利用の不均衡によりエージェントが局所最適に停滞する「モード崩壊」、硬直的な交叉戦略が並列探索軌跡を効果的に活用できない「弱い協調」である。これらの課題に対処するため、エージェントの文脈と探索ダイナミクスを頑健に制御する枠組み「進歩認識型一貫性進化（PACEvolve）」を提案する。PACEvolveは、文脈汚染に対処する階層的文脈管理（HCM）と刈り込み、局所最適脱出のための運動量ベースバックトラッキング（MBB）、バックトラッキングと交叉を統合した動的探索調整（CE）による自己適応型サンプリング戦略を組み合わせる。これにより、エージェントは内部洗練と軌跡間協調のバランスを動的に取ることが可能となる。PACEvolveが、LLM-SRおよびKernelBenchで最先端の結果を達成し、Modded NanoGPTでは記録を上回る解を発見するなど、体系的で一貫した長期的自己改善への道筋を提供することを実証する。
English
Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.