Van uitvoerbaar naar leverbaar: Multi-agent testgedreven ontwikkeling voor het genereren van full-stack webapplicaties op basis van vereisten

Samenvatting

Codeeragenten kunnen webapplicaties genereren op basis van natuurlijke-taalbeschrijvingen, maar een recente benchmarkstudie toont aan dat gegenereerde applicaties in meer dan 70% van de gevallen niet voldoen aan de functionele vereisten. De kernmoeilijkheid is dat de correctheid van webapplicaties niet kan worden beoordeeld op basis van bronbestanden of terminaluitvoer: de applicatie moet worden geïmplementeerd, worden getest via gesimuleerde browserinteracties, en mislukkingen moeten worden vertaald naar bruikbare reparatiesignalen – stappen die huidige agenten niet kunnen uitvoeren zonder menselijke tussenkomst. Wij presenteren TDDev, een raamwerk dat deze gesloten lus automatiseert via drie fasen: (1) het omzetten van hoog-niveau vereisten in gestructureerde acceptatietests voordat er code wordt geschreven, (2) het implementeren van de applicatie en het valideren ervan via browsergebaseerde interactiesimulatie, en (3) het vertalen van in de browser waargenomen fouten naar gestructureerde reparatierapporten voor de codeeragent. Dankzij TDDev voeren wij de eerste gecontroleerde empirische studie uit naar testgestuurde ontwikkeling (TDD)-strategieën voor het genereren van webapplicaties, waarbij vier ontwikkelingsprotocollen worden vergeleken over twee codeeragenten, twee backbonemodellen en twee benchmarks. TDD-infrastructuur verbetert de generatiekwaliteit consistent met 34–48 procentpunten ten opzichte van een baseline zonder TDD. De centrale bevinding is dat het optimale protocol afhangt van de generatiestijl van het model: modellen die applicaties holistisch bouwen, profiteren het meest van agentische handhaving, terwijl modellen die code conservatief uitbreiden, profiteren van incrementele handhaving. Een mismatch tussen protocol en generatiestijl heft het TDD-voordeel volledig op en vermenigvuldigt de tokenkosten tot 25 keer. Een gebruikersstudie bevestigt dat TDDev handmatige ontwikkelaarsinterventie tot nul reduceert, waardoor de werklast verschuift van continu prompt-engineering naar autonome, feedbackgestuurde verfijning.

English

Coding agents can generate web applications from natural-language descriptions, yet a recent benchmark study shows that generated applications fail to meet functional requirements in over 70% of cases. The core difficulty is that web correctness cannot be assessed from source files or terminal output: the application must be deployed, exercised through simulated browser interactions, and failures must be translated into actionable repair signals -- steps that current agents cannot perform without human mediation. We present TDDev, a framework that automates this closed loop through three stages: (1) converting high-level requirements into structured acceptance tests before any code is written, (2) deploying the application and validating it through browser-based interaction simulation, and (3) translating browser-observed failures into structured repair reports for the coding agent. Enabled by TDDev, we conduct the first controlled empirical study of Test-driven development (TDD) strategies for web application generation, comparing four development protocols across two coding agents, two backbone models, and two benchmarks. TDD infrastructure consistently improves generation quality by 34--48 percentage points over a no-TDD baseline. The central finding is that the optimal protocol depends on the model's generation style: models that build applications holistically benefit most from agentic enforcement, while models that extend code conservatively benefit from incremental enforcement. Mismatching protocol to generation style eliminates the TDD benefit entirely while multiplying token cost up to 25-fold. A user study confirms that TDDev reduces manual developer intervention to zero, shifting the workload from continuous prompt engineering to autonomous, feedback-driven refinement.