Do Executável ao Entregável: Desenvolvimento Orientado a Testes Multiagente para Geração de Aplicações Web Full-Stack a partir de Requisitos

Resumo

Agentes de codificação podem gerar aplicações web a partir de descrições em linguagem natural, no entanto, um estudo de referência recente mostra que as aplicações geradas falham em atender aos requisitos funcionais em mais de 70% dos casos. A dificuldade central é que a correção web não pode ser avaliada a partir de arquivos fonte ou da saída do terminal: a aplicação deve ser implantada, exercitada por meio de interações simuladas de navegador, e as falhas devem ser traduzidas em sinais de reparo acionáveis — etapas que os agentes atuais não conseguem realizar sem mediação humana. Apresentamos o TDDev, um framework que automatiza esse ciclo fechado por meio de três estágios: (1) conversão de requisitos de alto nível em testes de aceitação estruturados antes de qualquer código ser escrito, (2) implantação da aplicação e validação por meio de simulação de interação baseada em navegador, e (3) tradução de falhas observadas no navegador em relatórios de reparo estruturados para o agente de codificação. Com o suporte do TDDev, realizamos o primeiro estudo empírico controlado de estratégias de Desenvolvimento Orientado por Testes (TDD) para geração de aplicações web, comparando quatro protocolos de desenvolvimento em dois agentes de codificação, dois modelos de base e dois benchmarks. A infraestrutura de TDD melhora consistentemente a qualidade da geração em 34 a 48 pontos percentuais em relação a uma linha de base sem TDD. A descoberta central é que o protocolo ideal depende do estilo de geração do modelo: modelos que constroem aplicações de forma holística se beneficiam mais do reforço agentivo, enquanto modelos que estendem código de forma conservadora se beneficiam do reforço incremental. A incompatibilidade entre protocolo e estilo de geração elimina completamente o benefício do TDD, ao mesmo tempo que multiplica o custo de tokens em até 25 vezes. Um estudo com usuários confirma que o TDDev reduz a intervenção manual do desenvolvedor a zero, transferindo a carga de trabalho da engenharia contínua de prompts para o refinamento autônomo orientado por feedback.

English

Coding agents can generate web applications from natural-language descriptions, yet a recent benchmark study shows that generated applications fail to meet functional requirements in over 70% of cases. The core difficulty is that web correctness cannot be assessed from source files or terminal output: the application must be deployed, exercised through simulated browser interactions, and failures must be translated into actionable repair signals -- steps that current agents cannot perform without human mediation. We present TDDev, a framework that automates this closed loop through three stages: (1) converting high-level requirements into structured acceptance tests before any code is written, (2) deploying the application and validating it through browser-based interaction simulation, and (3) translating browser-observed failures into structured repair reports for the coding agent. Enabled by TDDev, we conduct the first controlled empirical study of Test-driven development (TDD) strategies for web application generation, comparing four development protocols across two coding agents, two backbone models, and two benchmarks. TDD infrastructure consistently improves generation quality by 34--48 percentage points over a no-TDD baseline. The central finding is that the optimal protocol depends on the model's generation style: models that build applications holistically benefit most from agentic enforcement, while models that extend code conservatively benefit from incremental enforcement. Mismatching protocol to generation style eliminates the TDD benefit entirely while multiplying token cost up to 25-fold. A user study confirms that TDDev reduces manual developer intervention to zero, shifting the workload from continuous prompt engineering to autonomous, feedback-driven refinement.