Neubewertung des Werts von Agentengenerierten Tests für LLM-basierte Softwareentwicklungsagenten
Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents
February 8, 2026
papers.authors: Zhi Chen, Zhensu Sun, Yuling Shi, Chao Peng, Xiaodong Gu, David Lo, Lingxiao Jiang
cs.AI
papers.abstract
Große Sprachmodelle (LLM) als Code-Agenten lösen zunehmend Repository-weite Probleme durch iteratives Bearbeiten von Code, Aufrufen von Tools und Validieren von Kandidaten-Patches. In diesen Workflows schreiben Agenten häufig spontan Tests, ein Paradigma, das von vielen hochplatzierten Agenten auf dem SWE-bench Leaderboard übernommen wurde. Wir beobachten jedoch, dass GPT-5.2, das fast keine neuen Tests schreibt, sogar eine mit den Top-Agenten vergleichbare Leistung erzielen kann. Dies wirft die entscheidende Frage auf, ob solche Tests die Problemlösung tatsächlich verbessern oder lediglich menschliche Testpraktiken nachahmen, während sie ein erhebliches Interaktionsbudget verbrauchen.
Um die Auswirkungen von agentengeschriebenen Tests aufzudecken, präsentieren wir eine empirische Studie, die Agenten-Trajektorien über sechs state-of-the-art LLMs auf SWE-bench Verified analysiert. Unsere Ergebnisse zeigen, dass das Testschreiben zwar häufig angewendet wird, gelöste und ungelöste Aufgaben innerhalb desselben Modells jedoch ähnliche Testschreibhäufigkeiten aufweisen. Darüber hinaus dienen diese Tests typischerweise als Kanäle für beobachtendes Feedback, wobei Agenten wertoffenlegende Print-Anweisungen deutlich stärker bevorzugen als formale, auf Assertions basierende Prüfungen. Aufbauend auf diesen Erkenntnissen führen wir ein kontrolliertes Experiment durch, indem wir die Prompts von vier Agenten so anpassen, dass sie entweder mehr oder weniger Tests schreiben. Die Ergebnisse deuten darauf hin, dass Änderungen im Umfang der agentengeschriebenen Tests die Endergebnisse nicht signifikant verändern. Zusammengenommen zeigt unsere Studie, dass die aktuellen Testschreibpraktiken in autonomen Softwareentwicklungsaufgaben nur einen marginalen Nutzen bieten könnten.
English
Large Language Model (LLM) code agents increasingly resolve repository-level issues by iteratively editing code, invoking tools, and validating candidate patches. In these workflows, agents often write tests on the fly, a paradigm adopted by many high-ranking agents on the SWE-bench leaderboard. However, we observe that GPT-5.2, which writes almost no new tests, can even achieve performance comparable to top-ranking agents. This raises the critical question: whether such tests meaningfully improve issue resolution or merely mimic human testing practices while consuming a substantial interaction budget.
To reveal the impact of agent-written tests, we present an empirical study that analyzes agent trajectories across six state-of-the-art LLMs on SWE-bench Verified. Our results show that while test writing is commonly adopted, but resolved and unresolved tasks within the same model exhibit similar test-writing frequencies Furthermore, these tests typically serve as observational feedback channels, where agents prefer value-revealing print statements significantly more than formal assertion-based checks. Based on these insights, we perform a controlled experiment by revising the prompts of four agents to either increase or reduce test writing. The results suggest that changes in the volume of agent-written tests do not significantly change final outcomes. Taken together, our study reveals that current test-writing practices may provide marginal utility in autonomous software engineering tasks.