Het Heroverwegen van de Waarde van Agent-gegenereerde Tests voor LLM-gebaseerde Software Engineering Agents
Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents
February 8, 2026
Auteurs: Zhi Chen, Zhensu Sun, Yuling Shi, Chao Peng, Xiaodong Gu, David Lo, Lingxiao Jiang
cs.AI
Samenvatting
Grote Taalmodellen (LLM) code-agents lossen in toenemende mate problemen op repositoryniveau op door iteratief code te bewerken, tools aan te roepen en kandidaat-patches te valideren. In deze workflows schrijven agenten vaak ter plekke tests, een paradigma dat wordt overgenomen door veel hooggeplaatste agenten op de SWE-bench leaderboard. Wij observeren echter dat GPT-5.2, dat vrijwel geen nieuwe tests schrijft, zelfs een vergelijkbare prestaties kan bereiken als de hoogst scorende agenten. Dit roept de cruciale vraag op: verbeteren dergelijke tests de probleemoplossing daadwerkelijk, of bootsen ze slechts menselijke testpraktijken na terwijl ze een aanzienlijk interactiebudget verbruiken.
Om de impact van door agenten geschreven tests te onthullen, presenteren wij een empirische studie die agenttrajecten analyseert van zes state-of-the-art LLM's op SWE-bench Verified. Onze resultaten tonen aan dat, hoewel testschrijven vaak wordt toegepast, opgeloste en onopgeloste taken binnen hetzelfde model vergelijkbare test-schrijffrequenties vertonen. Bovendien dienen deze tests typisch als observationele feedbackkanalen, waarbij agenten een significante voorkeur hebben voor waarde-onthullende print-statements boven formele assertion-gebaseerde controles. Gebaseerd op deze inzichten voeren wij een gecontroleerd experiment uit door de prompts van vier agenten aan te passen om het testschrijven te vergroten of te verminderen. De resultaten suggereren dat veranderingen in het volume van door agenten geschreven tests de uiteindelijke resultaten niet significant veranderen. Samen genomen onthult onze studie dat de huidige test-schrijfpraktijken mogelijk slechts marginale waarde bieden bij autonome software-engineeringtaken.
English
Large Language Model (LLM) code agents increasingly resolve repository-level issues by iteratively editing code, invoking tools, and validating candidate patches. In these workflows, agents often write tests on the fly, a paradigm adopted by many high-ranking agents on the SWE-bench leaderboard. However, we observe that GPT-5.2, which writes almost no new tests, can even achieve performance comparable to top-ranking agents. This raises the critical question: whether such tests meaningfully improve issue resolution or merely mimic human testing practices while consuming a substantial interaction budget.
To reveal the impact of agent-written tests, we present an empirical study that analyzes agent trajectories across six state-of-the-art LLMs on SWE-bench Verified. Our results show that while test writing is commonly adopted, but resolved and unresolved tasks within the same model exhibit similar test-writing frequencies Furthermore, these tests typically serve as observational feedback channels, where agents prefer value-revealing print statements significantly more than formal assertion-based checks. Based on these insights, we perform a controlled experiment by revising the prompts of four agents to either increase or reduce test writing. The results suggest that changes in the volume of agent-written tests do not significantly change final outcomes. Taken together, our study reveals that current test-writing practices may provide marginal utility in autonomous software engineering tasks.