PACEvolve: Ermöglichung langfristiger, fortschrittsbewusster konsistenter Evolution
PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution
January 15, 2026
papers.authors: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben sich als leistungsfähige Operatoren für die evolutionäre Suche erwiesen, doch das Design effizienter Suchgerüste bleibt ad hoc. Obwohl vielversprechend, mangelt es aktuellen LLM-in-the-Loop-Systemen an einem systematischen Ansatz zur Steuerung des evolutionären Prozesses. Wir identifizieren drei spezifische Fehlermodi: Kontextverschmutzung, bei der die Experimenthistorie die zukünftige Kandidatengenerierung verzerrt; Moduszusammenbruch, bei dem Agenten aufgrund eines schlechten Explorations-Exploitations-Verhältnisses in lokalen Minima stagnieren; und Schwache Kollaboration, bei der rigide Crossover-Strategien parallele Suchtrajektorien nicht effektiv nutzen. Wir stellen Progress-Aware Consistent Evolution (PACEvolve) vor, einen Rahmen zur robusten Steuerung des Agentenkontexts und der Suchdynamik, um diesen Herausforderungen zu begegnen. PACEvolve kombiniert hierarchisches Kontextmanagement (HCM) mit Bereinigung, um Kontextverschmutzung zu adressieren; momentum-basiertes Backtracking (MBB), um lokale Minima zu verlassen; und eine selbstadaptive Sampling-Strategie, die Backtracking und Crossover zur dynamischen Suchkoordination (CE) vereint, sodass Agenten interne Verfeinerung mit trajektorienübergreifender Kollaboration abwägen können. Wir zeigen, dass PACEvolve einen systematischen Weg zu konsistenter, langfristiger Selbstverbesserung bietet und state-of-the-art Ergebnisse auf LLM-SR und KernelBench erzielt, während es Lösungen entdeckt, die den Rekord auf Modded NanoGPT übertreffen.
English
Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.