PACEvolve: Habilitación de una evolución consistente y consciente del progreso a largo plazo
PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution
January 15, 2026
Autores: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang
cs.AI
Resumen
Los Modelos de Lenguaje a Gran Escala (LLM) han surgido como operadores potentes para la búsqueda evolutiva, aunque el diseño de andamiajes de búsqueda eficientes sigue siendo ad hoc. Si bien son prometedores, los sistemas actuales con LLM en el bucle carecen de un enfoque sistemático para gestionar el proceso evolutivo. Identificamos tres modos de fallo distintos: Contaminación del Contexto, donde el historial de experimentos sesga la generación futura de candidatos; Colapso Modal, donde los agentes se estancan en mínimos locales debido a un pobre equilibrio exploración-explotación; y Colaboración Débil, donde estrategias de cruce rígidas no logran aprovechar eficazmente las trayectorias de búsqueda paralelas. Presentamos Evolución Consistente con Conciencia del Progreso (PACEvolve), un marco diseñado para gobernar robustamente el contexto del agente y la dinámica de búsqueda, para abordar estos desafíos. PACEvolve combina una gestión jerárquica del contexto (HCM) con poda para abordar la contaminación del contexto; retroceso basado en momentum (MBB) para escapar de mínimos locales; y una política de muestreo auto-adaptativa que unifica el retroceso y el cruce para una coordinación de búsqueda dinámica (CE), permitiendo a los agentes equilibrar el refinamiento interno con la colaboración entre trayectorias. Demostramos que PACEvolve proporciona un camino sistemático hacia la auto-mejora consistente a largo plazo, logrando resultados de vanguardia en LLM-SR y KernelBench, mientras descubre soluciones que superan el récord en Modded NanoGPT.
English
Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.