Définition d'Agent IA Piloté par les Tests (TDAD) : Compilation d'Agents Utilisateurs d'Outils à partir de Spécifications Comportementales
Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications
March 9, 2026
Auteurs: Tzafrir Rehan
cs.AI
Résumé
Nous présentons la Définition d'Agent IA Pilotée par les Tests (TDAD), une méthodologie qui traite les prompts d'agents comme des artefacts compilés : les ingénieurs fournissent des spécifications comportementales, un agent de codage les convertit en tests exécutables, et un second agent de codage affine itérativement le prompt jusqu'à ce que les tests passent. Le déploiement en production d'agents LLM utilisant des outils nécessite une conformité comportementale mesurable que les pratiques de développement actuelles ne peuvent assurer. De petites modifications de prompt provoquent des régressions silencieuses, les mauvais usages des outils passent inaperçus, et les violations de politiques n'apparaissent qu'après le déploiement. Pour atténuer le détournement de spécifications, TDAD introduit trois mécanismes : (1) des séparations de tests visibles/cachés qui retiennent les tests d'évaluation pendant la compilation, (2) des tests de mutation sémantique via un agent post-compilation qui génère des variantes de prompts plausibles mais erronées, le harness mesurant si la suite de tests les détecte, et (3) des scénarios d'évolution des spécifications qui quantifient la sécurité contre les régressions lorsque les exigences changent. Nous évaluons TDAD sur SpecSuite-Core, un benchmark de quatre agents fortement spécifiés couvrant la conformité aux politiques, l'analyse ancrée, l'adhésion aux procédures et l'application de règles déterministes. Sur 24 essais indépendants, TDAD atteint 92 % de succès de compilation v1 avec un taux moyen de réussite aux tests cachés de 97 % ; les spécifications évoluées sont compilées à 58 %, la plupart des exécutions échouées passant tous les tests visibles sauf 1-2, et montrent des scores de mutation de 86 à 100 %, un taux de réussite aux tests cachés v2 de 78 %, et des scores de sécurité contre les régressions de 97 %. L'implémentation est disponible comme benchmark ouvert à l'adresse https://github.com/f-labs-io/tdad-paper-code.
English
We present Test-Driven AI Agent Definition (TDAD), a methodology that treats agent prompts as compiled artifacts: engineers provide behavioral specifications, a coding agent converts them into executable tests, and a second coding agent iteratively refines the prompt until tests pass. Deploying tool-using LLM agents in production requires measurable behavioral compliance that current development practices cannot provide. Small prompt changes cause silent regressions, tool misuse goes undetected, and policy violations emerge only after deployment. To mitigate specification gaming, TDAD introduces three mechanisms: (1) visible/hidden test splits that withhold evaluation tests during compilation, (2) semantic mutation testing via a post-compilation agent that generates plausible faulty prompt variants, with the harness measuring whether the test suite detects them, and (3) spec evolution scenarios that quantify regression safety when requirements change. We evaluate TDAD on SpecSuite-Core, a benchmark of four deeply-specified agents spanning policy compliance, grounded analytics, runbook adherence, and deterministic enforcement. Across 24 independent trials, TDAD achieves 92% v1 compilation success with 97% mean hidden pass rate; evolved specifications compile at 58%, with most failed runs passing all visible tests except 1-2, and show 86-100% mutation scores, 78% v2 hidden pass rate, and 97% regression safety scores. The implementation is available as an open benchmark at https://github.com/f-labs-io/tdad-paper-code.