PACEvolve : Permettre une évolution cohérente à long terme tenant compte du progrès
PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution
January 15, 2026
papers.authors: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang
cs.AI
papers.abstract
Les modèles de langage de grande taille (LLM) sont devenus des opérateurs puissants pour la recherche évolutive, mais la conception d'échafaudages de recherche efficaces reste ad hoc. Bien que prometteurs, les systèmes actuels intégrant des LLM manquent d'une approche systématique pour gérer le processus évolutif. Nous identifions trois modes de défaillance distincts : la Pollution du Contexte, où l'historique des expériences biaise la génération future de candidats ; l'Effondrement Modal, où les agents stagnent dans des minima locaux en raison d'un mauvais équilibre exploration-exploitation ; et la Collaboration Faible, où des stratégies de croisement rigides ne parviennent pas à exploiter efficacement les trajectoires de recherche parallèles. Nous présentons Progress-Aware Consistent Evolution (PACEvolve), un cadre conçu pour régir robustement le contexte de l'agent et la dynamique de recherche afin de relever ces défis. PACEvolve combine une gestion hiérarchique du contexte (HCM) avec un élagage pour résoudre la pollution du contexte ; un retour arrière basé sur la quantité de mouvement (MBB) pour échapper aux minima locaux ; et une politique d'échantillonnage auto-adaptative qui unifie le retour arrière et le croisement pour une coordination de recherche dynamique (CE), permettant aux agents d'équilibrer le raffinement interne avec la collaboration entre trajectoires. Nous démontrons que PACEvolve offre une voie systématique vers une auto-amélioration cohérente et à long terme, obtenant des résultats de pointe sur LLM-SR et KernelBench, tout en découvrant des solutions surpassant le record sur Modded NanoGPT.
English
Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.