EvoClaw: Bewertung von KI-Agenten für kontinuierliche Softwareevolution
EvoClaw: Evaluating AI Agents on Continuous Software Evolution
March 13, 2026
Autoren: Gangda Deng, Zhaoling Chen, Zhongming Yu, Haoyang Fan, Yuhong Liu, Yuxin Yang, Dhruv Parikh, Rajgopal Kannan, Le Cong, Mengdi Wang, Qian Zhang, Viktor Prasanna, Xiangru Tang, Xingyao Wang
cs.AI
Zusammenfassung
Mit der zunehmenden Verbreitung von KI-Agenten als langlaufende Systeme wird es unerlässlich, autonom angepasste Software zu konstruieren und kontinuierlich weiterzuentwickeln, um Interaktionen in dynamischen Umgebungen zu ermöglichen. Bisherige Benchmarks bewerten Agenten jedoch anhand isolierter, einmaliger Programmieraufgaben und vernachlässigen dabei die zeitlichen Abhängigkeiten und die technische Schuld, die der Evolution realer Software inhärent sind. Um diese Lücke zu schließen, stellen wir DeepCommit vor: eine agentenbasierte Pipeline, die verifizierbare Meilenstein-DAGs aus verrauschten Commit-Logs rekonstruiert, wobei Meilensteine als semantisch kohäsive Entwicklungsziele definiert sind. Diese ausführbaren Sequenzen ermöglichen EvoClaw, einen neuartigen Benchmark, der von Agenten verlangt, die Systemintegrität aufrechtzuerhalten und die Fehlerakkumulation zu begrenzen – Dimensionen langfristiger Softwareevolution, die in aktuellen Benchmarks weitgehend fehlen. Unsere Evaluation von 12 Frontier-Modellen über 4 Agenten-Frameworks hinweg offenbart eine kritische Schwachstelle: Die Gesamtleistungswerte fallen signifikant von >80 % bei isolierten Aufgaben auf höchstens 38 % in kontinuierlichen Szenarien ab, was das erhebliche Unvermögen der Agenten im Umgang mit langfristiger Wartung und Fehlerfortpflanzung aufzeigt.
English
With AI agents increasingly deployed as long-running systems, it becomes essential to autonomously construct and continuously evolve customized software to enable interaction within dynamic environments. Yet, existing benchmarks evaluate agents on isolated, one-off coding tasks, neglecting the temporal dependencies and technical debt inherent in real-world software evolution. To bridge this gap, we introduce DeepCommit, an agentic pipeline that reconstructs verifiable Milestone DAGs from noisy commit logs, where milestones are defined as semantically cohesive development goals. These executable sequences enable EvoClaw, a novel benchmark that requires agents to sustain system integrity and limit error accumulation, dimensions of long-term software evolution largely missing from current benchmarks. Our evaluation of 12 frontier models across 4 agent frameworks reveals a critical vulnerability: overall performance scores drop significantly from >80% on isolated tasks to at most 38% in continuous settings, exposing agents' profound struggle with long-term maintenance and error propagation.