От работоспособного к готовому к поставке: Многоагентная разработка через тестирование для генерации полнофункциональных веб-приложений на основе требований

Аннотация

Кодовые агенты могут генерировать веб-приложения на основе описаний на естественном языке, однако недавнее эталонное исследование показывает, что сгенерированные приложения не соответствуют функциональным требованиям более чем в 70% случаев. Основная сложность заключается в том, что корректность веб-приложения невозможно оценить по исходным файлам или выводу терминала: приложение должно быть развернуто, протестировано с помощью симулированных взаимодействий с браузером, а ошибки должны быть преобразованы в пригодные для исправления сигналы — шаги, которые текущие агенты не могут выполнить без участия человека. Мы представляем TDDev — фреймворк, автоматизирующий этот замкнутый цикл посредством трех этапов: (1) преобразование требований высокого уровня в структурированные приемочные тесты до написания какого-либо кода, (2) развертывание приложения и его валидация с помощью симуляции взаимодействия через браузер, и (3) преобразование наблюдаемых в браузере ошибок в структурированные отчеты об исправлении для кодового агента. Благодаря TDDev мы проводим первое контролируемое эмпирическое исследование стратегий разработки через тестирование (TDD) для генерации веб-приложений, сравнивая четыре протокола разработки с использованием двух кодовых агентов, двух базовых моделей и двух бенчмарков. Инфраструктура TDD последовательно повышает качество генерации на 34–48 процентных пункта по сравнению с базовым уровнем без TDD. Центральный вывод состоит в том, что оптимальный протокол зависит от стиля генерации модели: модели, которые строят приложения целостно, больше всего выигрывают от агентного принуждения, в то время как модели, которые консервативно расширяют код, выигрывают от пошагового принуждения. Несоответствие протокола стилю генерации полностью устраняет преимущество TDD, при этом увеличивая затраты токенов до 25 раз. Исследование с участием пользователей подтверждает, что TDDev сводит ручное вмешательство разработчика к нулю, перемещая рабочую нагрузку с непрерывного инжиниринга промптов на автономное уточнение, управляемое обратной связью.

English

Coding agents can generate web applications from natural-language descriptions, yet a recent benchmark study shows that generated applications fail to meet functional requirements in over 70% of cases. The core difficulty is that web correctness cannot be assessed from source files or terminal output: the application must be deployed, exercised through simulated browser interactions, and failures must be translated into actionable repair signals -- steps that current agents cannot perform without human mediation. We present TDDev, a framework that automates this closed loop through three stages: (1) converting high-level requirements into structured acceptance tests before any code is written, (2) deploying the application and validating it through browser-based interaction simulation, and (3) translating browser-observed failures into structured repair reports for the coding agent. Enabled by TDDev, we conduct the first controlled empirical study of Test-driven development (TDD) strategies for web application generation, comparing four development protocols across two coding agents, two backbone models, and two benchmarks. TDD infrastructure consistently improves generation quality by 34--48 percentage points over a no-TDD baseline. The central finding is that the optimal protocol depends on the model's generation style: models that build applications holistically benefit most from agentic enforcement, while models that extend code conservatively benefit from incremental enforcement. Mismatching protocol to generation style eliminates the TDD benefit entirely while multiplying token cost up to 25-fold. A user study confirms that TDDev reduces manual developer intervention to zero, shifting the workload from continuous prompt engineering to autonomous, feedback-driven refinement.