EvoClaw: Оценка ИИ-агентов в контексте непрерывной эволюции программного обеспечения
EvoClaw: Evaluating AI Agents on Continuous Software Evolution
March 13, 2026
Авторы: Gangda Deng, Zhaoling Chen, Zhongming Yu, Haoyang Fan, Yuhong Liu, Yuxin Yang, Dhruv Parikh, Rajgopal Kannan, Le Cong, Mengdi Wang, Qian Zhang, Viktor Prasanna, Xiangru Tang, Xingyao Wang
cs.AI
Аннотация
По мере того как ИИ-агенты все чаще развертываются в качестве долгоживущих систем, становится критически важным автономное создание и непрерывная эволюция специализированного программного обеспечения для обеспечения взаимодействия в динамичных средах. Однако существующие бенчмарки оценивают агентов на изолированных, разовых задачах программирования, игнорируя временные зависимости и технический долг, присущие эволюции реального программного обеспечения. Чтобы заполнить этот пробел, мы представляем DeepCommit — агентный конвейер, который восстанавливает верифицируемые направленные ациклические графы (DAG) вех из зашумленных логов коммитов, где вехи определяются как семантически целостные цели разработки. Эти исполняемые последовательности позволяют создать EvoClaw, новый бенчмарк, который требует от агентов поддержания целостности системы и ограничения накопления ошибок — аспектов долгосрочной эволюции программного обеспечения, в значительной степени отсутствующих в текущих бенчмарках. Наша оценка 12 передовых моделей в рамках 4 агентных фреймворков выявляет критическую уязвимость: общие показатели производительности значительно падают с >80% на изолированных задачах до максимум 38% в условиях непрерывной разработки, что демонстрирует серьезные трудности агентов с долгосрочным сопровождением и распространением ошибок.
English
With AI agents increasingly deployed as long-running systems, it becomes essential to autonomously construct and continuously evolve customized software to enable interaction within dynamic environments. Yet, existing benchmarks evaluate agents on isolated, one-off coding tasks, neglecting the temporal dependencies and technical debt inherent in real-world software evolution. To bridge this gap, we introduce DeepCommit, an agentic pipeline that reconstructs verifiable Milestone DAGs from noisy commit logs, where milestones are defined as semantically cohesive development goals. These executable sequences enable EvoClaw, a novel benchmark that requires agents to sustain system integrity and limit error accumulation, dimensions of long-term software evolution largely missing from current benchmarks. Our evaluation of 12 frontier models across 4 agent frameworks reveals a critical vulnerability: overall performance scores drop significantly from >80% on isolated tasks to at most 38% in continuous settings, exposing agents' profound struggle with long-term maintenance and error propagation.