EvoClaw: Evaluación de Agentes de IA en la Evolución Continua de Software
EvoClaw: Evaluating AI Agents on Continuous Software Evolution
March 13, 2026
Autores: Gangda Deng, Zhaoling Chen, Zhongming Yu, Haoyang Fan, Yuhong Liu, Yuxin Yang, Dhruv Parikh, Rajgopal Kannan, Le Cong, Mengdi Wang, Qian Zhang, Viktor Prasanna, Xiangru Tang, Xingyao Wang
cs.AI
Resumen
A medida que los agentes de IA se despliegan cada vez más como sistemas de larga duración, resulta esencial construir de forma autónoma y evolucionar continuamente software personalizado para permitir la interacción en entornos dinámicos. Sin embargo, los puntos de referencia existentes evalúan a los agentes en tareas de codificación aisladas y únicas, descuidando las dependencias temporales y la deuda técnica inherentes a la evolución del software en el mundo real. Para cerrar esta brecha, presentamos DeepCommit, una pipeline agentíca que reconstruye Grafos Acíclicos Dirigidos (DAG) de Hitos verificables a partir de registros de commits ruidosos, donde los hitos se definen como objetivos de desarrollo semánticamente cohesivos. Estas secuencias ejecutables permiten a EvoClaw, un nuevo punto de referencia que exige a los agentes mantener la integridad del sistema y limitar la acumulación de errores, dimensiones de la evolución del software a largo plazo mayormente ausentes en los puntos de referencia actuales. Nuestra evaluación de 12 modelos de vanguardia en 4 marcos de agentes revela una vulnerabilidad crítica: las puntuaciones de rendimiento general caen significativamente de >80% en tareas aisladas a un máximo de 38% en entornos continuos, exponiendo la profunda dificultad de los agentes con el mantenimiento a largo plazo y la propagación de errores.
English
With AI agents increasingly deployed as long-running systems, it becomes essential to autonomously construct and continuously evolve customized software to enable interaction within dynamic environments. Yet, existing benchmarks evaluate agents on isolated, one-off coding tasks, neglecting the temporal dependencies and technical debt inherent in real-world software evolution. To bridge this gap, we introduce DeepCommit, an agentic pipeline that reconstructs verifiable Milestone DAGs from noisy commit logs, where milestones are defined as semantically cohesive development goals. These executable sequences enable EvoClaw, a novel benchmark that requires agents to sustain system integrity and limit error accumulation, dimensions of long-term software evolution largely missing from current benchmarks. Our evaluation of 12 frontier models across 4 agent frameworks reveals a critical vulnerability: overall performance scores drop significantly from >80% on isolated tasks to at most 38% in continuous settings, exposing agents' profound struggle with long-term maintenance and error propagation.