Переосмысление ценности тестов, генерируемых агентами, для программных инженерных агентов на основе больших языковых моделей
Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents
February 8, 2026
Авторы: Zhi Chen, Zhensu Sun, Yuling Shi, Chao Peng, Xiaodong Gu, David Lo, Lingxiao Jiang
cs.AI
Аннотация
Крупные языковые модели (LLM) в качестве код-агентов все чаще решают проблемы на уровне репозитория, итеративно редактируя код, вызывая инструменты и проверяя кандидаты в патчи. В этих рабочих процессах агенты часто пишут тесты на лету — парадигма, принятая многими высокорейтинговыми агентами в таблице лидеров SWE-bench. Однако мы наблюдаем, что GPT-5.2, который почти не пишет новых тестов, может достигать производительности, сравнимой с агентами высшего ранга. Это поднимает ключевой вопрос: действительно ли такие тесты значимо улучшают разрешение проблем или же они лишь имитируют практики человеческого тестирования, потребляя при этом существенный бюджет взаимодействий.
Чтобы выявить влияние тестов, написанных агентами, мы представляем эмпирическое исследование, анализирующее траектории агентов на базе шести передовых LLM в рамках SWE-bench Verified. Наши результаты показывают, что, хотя написание тестов является распространенной практикой, решенные и нерешенные задачи в рамках одной и той же модели демонстрируют схожую частоту написания тестов. Более того, эти тесты обычно служат каналами наблюдательной обратной связи, где агенты явно предпочитают выводящие значения print-утверждения формальным проверкам на основе утверждений (assertions). Основываясь на этих наблюдениях, мы проводим контролируемый эксперимент, модифицируя прометы четырех агентов для увеличения или сокращения написания тестов. Результаты свидетельствуют о том, что изменения в объеме написанных агентами тестов не оказывают значительного влияния на конечный результат. В совокупности наше исследование показывает, что текущие практики написания тестов могут приносить лишь маргинальную пользу в задачах автономной разработки программного обеспечения.
English
Large Language Model (LLM) code agents increasingly resolve repository-level issues by iteratively editing code, invoking tools, and validating candidate patches. In these workflows, agents often write tests on the fly, a paradigm adopted by many high-ranking agents on the SWE-bench leaderboard. However, we observe that GPT-5.2, which writes almost no new tests, can even achieve performance comparable to top-ranking agents. This raises the critical question: whether such tests meaningfully improve issue resolution or merely mimic human testing practices while consuming a substantial interaction budget.
To reveal the impact of agent-written tests, we present an empirical study that analyzes agent trajectories across six state-of-the-art LLMs on SWE-bench Verified. Our results show that while test writing is commonly adopted, but resolved and unresolved tasks within the same model exhibit similar test-writing frequencies Furthermore, these tests typically serve as observational feedback channels, where agents prefer value-revealing print statements significantly more than formal assertion-based checks. Based on these insights, we perform a controlled experiment by revising the prompts of four agents to either increase or reduce test writing. The results suggest that changes in the volume of agent-written tests do not significantly change final outcomes. Taken together, our study reveals that current test-writing practices may provide marginal utility in autonomous software engineering tasks.