Definizione di Agente IA Guidata dai Test (TDAD): Compilazione di Agenti che Utilizzano Strumenti a Partire da Specifiche Comportamentali

Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications

March 9, 2026

Autori: Tzafrir Rehan

cs.AI

Abstract

Presentiamo la Test-Driven AI Agent Definition (TDAD), una metodologia che tratta i prompt degli agenti come artefatti compilati: gli ingegneri forniscono specifiche comportamentali, un agente di codifica le converte in test eseguibili e un secondo agente di codifica perfeziona iterativamente il prompt fino al superamento dei test. Il deployment di agenti LLM che utilizzano strumenti in produzione richiede una conformità comportamentale misurabile che le attuali pratiche di sviluppo non sono in grado di garantire. Piccole modifiche ai prompt causano regressioni silenti, l'uso improprio degli strumenti passa inosservato e le violazioni delle policy emergono solo dopo il deployment. Per mitigare l'elusione delle specifiche, la TDAD introduce tre meccanismi: (1) suddivisione dei test in visibili/nascosti, che trattengono i test di valutazione durante la compilazione, (2) test di mutazione semantica tramite un agente post-compilazione che genera varianti di prompt plausibilmente difettose, con il sistema di test che misura se la suite le rileva, e (3) scenari di evoluzione delle specifiche che quantificano la sicurezza dalle regressioni quando i requisiti cambiano. Valutiamo la TDAD su SpecSuite-Core, un benchmark di quattro agenti altamente specificati che coprono conformità alle policy, analisi fondate, aderenza alle procedure operative e applicazione deterministica. In 24 trial indipendenti, la TDAD raggiunge un successo di compilazione v1 del 92% con una percentuale media di superamento dei test nascosti del 97%; le specifiche evolute vengono compilate al 58%, con la maggior parte delle esecuzioni fallite che superano tutti i test visivi tranne 1-2, e mostrano punteggi di mutazione dell'86-100%, una percentuale di superamento dei test nascosti v2 del 78% e punteggi di sicurezza dalle regressioni del 97%. L'implementazione è disponibile come benchmark open all'indirizzo https://github.com/f-labs-io/tdad-paper-code.

English

We present Test-Driven AI Agent Definition (TDAD), a methodology that treats agent prompts as compiled artifacts: engineers provide behavioral specifications, a coding agent converts them into executable tests, and a second coding agent iteratively refines the prompt until tests pass. Deploying tool-using LLM agents in production requires measurable behavioral compliance that current development practices cannot provide. Small prompt changes cause silent regressions, tool misuse goes undetected, and policy violations emerge only after deployment. To mitigate specification gaming, TDAD introduces three mechanisms: (1) visible/hidden test splits that withhold evaluation tests during compilation, (2) semantic mutation testing via a post-compilation agent that generates plausible faulty prompt variants, with the harness measuring whether the test suite detects them, and (3) spec evolution scenarios that quantify regression safety when requirements change. We evaluate TDAD on SpecSuite-Core, a benchmark of four deeply-specified agents spanning policy compliance, grounded analytics, runbook adherence, and deterministic enforcement. Across 24 independent trials, TDAD achieves 92% v1 compilation success with 97% mean hidden pass rate; evolved specifications compile at 58%, with most failed runs passing all visible tests except 1-2, and show 86-100% mutation scores, 78% v2 hidden pass rate, and 97% regression safety scores. The implementation is available as an open benchmark at https://github.com/f-labs-io/tdad-paper-code.