PACEvolve: Ondersteuning van Consistent Evolueren op Lange Termijn met Bewustzijn van Vooruitgang

PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution

January 15, 2026

Auteurs: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang

cs.AI

Samenvatting

Grote Taalmodellen (GTM'en) zijn naar voren gekomen als krachtige operatoren voor evolutionaire zoektochten, maar het ontwerp van efficiënte zoekscaffolds blijft ad hoc. Hoewel veelbelovend, ontbreekt het huidige GTM-in-de-lus-systemen aan een systematische aanpak voor het beheren van het evolutionaire proces. Wij identificeren drie verschillende faalmodi: Contextvervuiling, waarbij experimentgeschiedenis toekomstige kandidaatgeneratie bevooroordeelt; Modusinstorting, waarbij agenten stagneren in lokale minima door een slechte balans tussen exploratie en exploitatie; en Zwakke Samenwerking, waarbij rigide crossoverstrategieën er niet in slagen parallelle zoektrajecten effectief te benutten. Wij introduceren Progress-Aware Consistent Evolution (PACEvolve), een raamwerk ontworpen om de context en zoekdynamiek van de agent robuust te sturen, om deze uitdagingen aan te pakken. PACEvolve combineert hiërarchisch contextbeheer (HCM) met snoeien om contextvervuiling aan te pakken; momentumgebaseerd teruglopen (MBB) om lokale minima te ontsnappen; en een zelf-adaptieve bemonsteringspolicy die teruglopen en crossover verenigt voor dynamische zoekcoördinatie (CE), waardoor agenten interne verfijning kunnen balanceren met samenwerking tussen trajecten. Wij tonen aan dat PACEvolve een systematisch pad biedt naar consistente, langetermijn zelfverbetering, waarbij state-of-the-art resultaten worden behaald op LLM-SR en KernelBench, terwijl oplossingen worden ontdekt die het record op Modded NanoGPT overtreffen.

English

Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.