PACEvolve: Обеспечение долгосрочной прогресс-осознанной согласованной эволюции

PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution

January 15, 2026

Авторы: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang

cs.AI

Аннотация

Крупные языковые модели (LLM) стали мощным инструментом для эволюционного поиска, однако проектирование эффективных каркасов поиска остается несистематическим. Несмотря на перспективность, современные системы с LLM в контуре не имеют системного подхода к управлению эволюционным процессом. Мы выделяем три типа сбоев: *загрязнение контекста*, когда история экспериментов смещает генерацию будущих кандидатов; *коллапс режима*, когда агенты стагнируют в локальных минимумах из-за дисбаланса исследования-эксплуатации; и *слабая коллаборация*, когда жесткие стратегии скрещивания не позволяют эффективно использовать параллельные траектории поиска. Для решения этих проблем мы представляем Progress-Aware Consistent Evolution (PACEvolve) — фреймворк, предназначенный для надежного управления контекстом агента и динамикой поиска. PACEvolve сочетает иерархическое управление контекстом (HCM) с прореживанием для борьбы с загрязнением контекста; *бэктрекинг на основе импульса (MBB)* для выхода из локальных минимумов; и самоадаптивную политику сэмплирования, которая объединяет бэктрекинг и скрещивание для динамической координации поиска (CE), позволяя агентам балансировать внутреннюю оптимизацию с коллаборацией между траекториями. Мы демонстрируем, что PACEvolve обеспечивает системный путь к последовательному самосовершенствованию на длинных горизонтах, достигая state-of-the-art результатов на LLM-SR и KernelBench, а также находя решения, превосходящие рекорд на Modded NanoGPT.

English

Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.