PACEvolve: Permitindo Evolução Consistente com Consciência de Progresso de Longo Horizonte
PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution
January 15, 2026
Autores: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang
cs.AI
Resumo
Os Grandes Modelos de Linguagem (LLMs) emergiram como operadores poderosos para busca evolutiva, contudo, o projeto de estruturas de suporte (scaffolds) eficientes permanece ad hoc. Embora promissores, os sistemas atuais com LLM no circuito carecem de uma abordagem sistemática para gerenciar o processo evolutivo. Identificamos três modos de falha distintos: Poluição de Contexto, onde o histórico do experimento tendencia a geração de candidatos futuros; Colapso Modal, onde os agentes estagnam em mínimos locais devido a um pobre equilíbrio entre exploração e exploração; e Colaboração Fraca, onde estratégias rígidas de cruzamento falham em aproveitar efetivamente as trajetórias de busca paralelas. Apresentamos a Evolução Consistente com Consciência do Progresso (PACEvolve), uma estrutura projetada para governar robustamente o contexto do agente e a dinâmica de busca, para enfrentar esses desafios. O PACEvolve combina o gerenciamento hierárquico de contexto (HCM) com a poda para abordar a poluição de contexto; o retrocesso baseado em momento (MBB) para escapar de mínimos locais; e uma política de amostragem auto-adaptativa que unifica o retrocesso e o cruzamento para uma coordenação de busca dinâmica (CE), permitindo que os agentes equilibrem o refinamento interno com a colaboração entre trajetórias. Demonstramos que o PACEvolve fornece um caminho sistemático para a autossuperação consistente de longo horizonte, alcançando resultados de última geração no LLM-SR e no KernelBench, enquanto descobre soluções que superam o recorde no Modded NanoGPT.
English
Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.