Test-Gedreven AI Agent Definitie (TDAD): Het Compileren van Hulpmiddel-Gebruikende Agents vanuit Gedragsspecificaties
Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications
March 9, 2026
Auteurs: Tzafrir Rehan
cs.AI
Samenvatting
Wij presenteren Test-Driven AI Agent Definition (TDAD), een methodologie die agent-prompts behandelt als gecompileerde artefacten: ingenieurs gedrags-specificaties aan, een coderende agent zet deze om in uitvoerbare tests, en een tweede coderende agent verfijnt de prompt iteratief totdat de tests slagen. Het in productie nemen van tool-gebruikende LLM-agenten vereist meetbare gedragsconformiteit die huidige ontwikkelingspraktijken niet kunnen bieden. Kleine promptwijzigingen veroorzaken stille regressies, misbruik van tools wordt niet gedetecteerd, en beleidsovertredingen komen pas na implementatie aan het licht. Om specificatie-manipulatie tegen te gaan, introduceert TDAD drie mechanismen: (1) zichtbare/verborgen test-splitsingen die evaluatietests tijdens de compilatie achterhouden, (2) semantische mutatietesten via een post-compilatie-agent die plausibele foutieve promptvarianten genereert, waarbij het testraamwerk meet of de testsuite deze detecteert, en (3) specificatie-evolutiescenario's die regressieveiligheid kwantificeren wanneer vereisten veranderen. Wij evalueren TDAD op SpecSuite-Core, een benchmark van vier grondig gespecificeerde agents op het gebied van beleidsconformiteit, gegronde analyses, runbook-naleving en deterministische handhaving. Over 24 onafhankelijke trials behaalt TDAD een compilatiesucces van 92% voor v1 met een gemiddeld slagingspercentage van 97% op verborgen tests; geëvolueerde specificaties compileren in 58% van de gevallen, waarbij de meeste mislukte runs alle zichtbare tests behalve 1-2 doorstaan, en tonen mutatiescores van 86-100%, een slagingspercentage van 78% op verborgen v2-tests, en regressieveiligheidscores van 97%. De implementatie is beschikbaar als een open benchmark op https://github.com/f-labs-io/tdad-paper-code.
English
We present Test-Driven AI Agent Definition (TDAD), a methodology that treats agent prompts as compiled artifacts: engineers provide behavioral specifications, a coding agent converts them into executable tests, and a second coding agent iteratively refines the prompt until tests pass. Deploying tool-using LLM agents in production requires measurable behavioral compliance that current development practices cannot provide. Small prompt changes cause silent regressions, tool misuse goes undetected, and policy violations emerge only after deployment. To mitigate specification gaming, TDAD introduces three mechanisms: (1) visible/hidden test splits that withhold evaluation tests during compilation, (2) semantic mutation testing via a post-compilation agent that generates plausible faulty prompt variants, with the harness measuring whether the test suite detects them, and (3) spec evolution scenarios that quantify regression safety when requirements change. We evaluate TDAD on SpecSuite-Core, a benchmark of four deeply-specified agents spanning policy compliance, grounded analytics, runbook adherence, and deterministic enforcement. Across 24 independent trials, TDAD achieves 92% v1 compilation success with 97% mean hidden pass rate; evolved specifications compile at 58%, with most failed runs passing all visible tests except 1-2, and show 86-100% mutation scores, 78% v2 hidden pass rate, and 97% regression safety scores. The implementation is available as an open benchmark at https://github.com/f-labs-io/tdad-paper-code.