PACEvolve: Abilitazione di un'evoluzione coerente e consapevole del progresso a lungo termine

PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution

January 15, 2026

Autori: Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He, Noveen Sachdeva, Isabella Ye, Weili Wang, Chi Wang, Ed H. Chi, Wang-Cheng Kang, Derek Zhiyuan Cheng, Beidou Wang

cs.AI

Abstract

I Large Language Model (LLM) sono emersi come potenti operatori per la ricerca evolutiva, eppure la progettazione di impalcature di ricerca efficienti rimane ad hoc. Sebbene promettenti, gli attuali sistemi con LLM-in-the-loop mancano di un approccio sistematico per gestire il processo evolutivo. Identifichiamo tre distinti modi di fallimento: Inquinamento del Contesto, dove la cronologia degli esperimenti condiziona la generazione futura dei candidati; Collasso della Modalità, dove gli agenti ristagnano in minimi locali a causa di un povero bilanciamento esplorazione-sfruttamento; e Collaborazione Debole, dove strategie di crossover rigide falliscono nello sfruttare efficacemente le traiettorie di ricerca parallele. Introduciamo Progress-Aware Consistent Evolution (PACEvolve), un framework progettato per governare robustamente il contesto dell'agente e le dinamiche di ricerca, per affrontare queste sfide. PACEvolve combina una gestione gerarchica del contesto (HCM) con il pruning per affrontare l'inquinamento del contesto; un backtracking basato su momentum (MBB) per fuggire dai minimi locali; e una politica di campionamento auto-adattativa che unisce backtracking e crossover per una coordinazione dinamica della ricerca (CE), consentendo agli agenti di bilanciare l'affinamento interno con la collaborazione tra traiettorie. Dimostriamo che PACEvolve fornisce un percorso sistematico verso un auto-miglioramento coerente e a lungo termine, raggiungendo risultati allo stato dell'arte su LLM-SR e KernelBench, mentre scopre soluzioni che superano il record su Modded NanoGPT.

English

Large Language Models (LLMs) have emerged as powerful operators for evolutionary search, yet the design of efficient search scaffolds remains ad hoc. While promising, current LLM-in-the-loop systems lack a systematic approach to managing the evolutionary process. We identify three distinct failure modes: Context Pollution, where experiment history biases future candidate generation; Mode Collapse, where agents stagnate in local minima due to poor exploration-exploitation balance; and Weak Collaboration, where rigid crossover strategies fail to leverage parallel search trajectories effectively. We introduce Progress-Aware Consistent Evolution (PACEvolve), a framework designed to robustly govern the agent's context and search dynamics, to address these challenges. PACEvolve combines hierarchical context management (HCM) with pruning to address context pollution; momentum-based backtracking (MBB) to escape local minima; and a self-adaptive sampling policy that unifies backtracking and crossover for dynamic search coordination (CE), allowing agents to balance internal refinement with cross-trajectory collaboration. We demonstrate that PACEvolve provides a systematic path to consistent, long-horizon self-improvement, achieving state-of-the-art results on LLM-SR and KernelBench, while discovering solutions surpassing the record on Modded NanoGPT.