Repensando el Valor de las Pruebas Generadas por Agentes para Agentes de Ingeniería de Software Basados en LLM
Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents
February 8, 2026
Autores: Zhi Chen, Zhensu Sun, Yuling Shi, Chao Peng, Xiaodong Gu, David Lo, Lingxiao Jiang
cs.AI
Resumen
Los agentes de código basados en modelos de lenguaje grande (LLM) resuelven cada vez más problemas a nivel de repositorio mediante la edición iterativa de código, la invocación de herramientas y la validación de parches candidatos. En estos flujos de trabajo, los agentes a menudo escriben pruebas sobre la marcha, un paradigma adoptado por muchos agentes de alto rendimiento en el ranking de SWE-bench. Sin embargo, observamos que GPT-5.2, que apenas escribe nuevas pruebas, puede lograr un rendimiento comparable al de los agentes mejor posicionados. Esto plantea la pregunta crítica: si dichas pruebas mejoran significativamente la resolución de problemas o simplemente imitan las prácticas humanas de testing mientras consumen un presupuesto de interacción sustancial.
Para revelar el impacto de las pruebas escritas por agentes, presentamos un estudio empírico que analiza las trayectorias de agentes en seis LLMs de vanguardia en SWE-bench Verified. Nuestros resultados muestran que, aunque la escritura de pruebas es comúnmente adoptada, las tareas resueltas y no resueltas dentro del mismo modelo exhiben frecuencias similares de escritura de pruebas. Además, estas pruebas suelen servir como canales de retroalimentación observacional, donde los agentes prefieren significativamente más las sentencias de impresión que revelan valores que las comprobaciones formales basadas en aserciones. Con base en estos hallazgos, realizamos un experimento controlado revisando los prompts de cuatro agentes para aumentar o reducir la escritura de pruebas. Los resultados sugieren que los cambios en el volumen de pruebas escritas por agentes no alteran significativamente los resultados finales. En conjunto, nuestro estudio revela que las prácticas actuales de escritura de pruebas pueden ofrecer una utilidad marginal en las tareas de ingeniería de software autónoma.
English
Large Language Model (LLM) code agents increasingly resolve repository-level issues by iteratively editing code, invoking tools, and validating candidate patches. In these workflows, agents often write tests on the fly, a paradigm adopted by many high-ranking agents on the SWE-bench leaderboard. However, we observe that GPT-5.2, which writes almost no new tests, can even achieve performance comparable to top-ranking agents. This raises the critical question: whether such tests meaningfully improve issue resolution or merely mimic human testing practices while consuming a substantial interaction budget.
To reveal the impact of agent-written tests, we present an empirical study that analyzes agent trajectories across six state-of-the-art LLMs on SWE-bench Verified. Our results show that while test writing is commonly adopted, but resolved and unresolved tasks within the same model exhibit similar test-writing frequencies Furthermore, these tests typically serve as observational feedback channels, where agents prefer value-revealing print statements significantly more than formal assertion-based checks. Based on these insights, we perform a controlled experiment by revising the prompts of four agents to either increase or reduce test writing. The results suggest that changes in the volume of agent-written tests do not significantly change final outcomes. Taken together, our study reveals that current test-writing practices may provide marginal utility in autonomous software engineering tasks.