Definição de Agente de IA Orientada a Testes (TDAD): Compilação de Agentes que Utilizam Ferramentas a partir de Especificações Comportamentais
Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications
March 9, 2026
Autores: Tzafrir Rehan
cs.AI
Resumo
Apresentamos a Definição de Agentes de IA Orientada a Testes (TDAD), uma metodologia que trata os *prompts* de agentes como artefatos compilados: os engenheiros fornecem especificações comportamentais, um agente de codificação converte-as em testes executáveis, e um segundo agente de codificação refina iterativamente o *prompt* até que os testes sejam aprovados. A implantação de agentes de LLM que utilizam ferramentas em produção exige conformidade comportamental mensurável que as práticas atuais de desenvolvimento não conseguem fornecer. Pequenas alterações no *prompt* causam regressões silenciosas, o uso indevido de ferramentas passa despercebido e violações de políticas só surgem após a implantação. Para mitigar a manipulação de especificações, a TDAD introduz três mecanismos: (1) divisão de testes visíveis/ocultos que retém testes de avaliação durante a compilação, (2) teste de mutação semântica via um agente pós-compilação que gera variantes de *prompt* defeituosas plausíveis, com o *harness* medindo se o conjunto de testes as detecta, e (3) cenários de evolução de especificações que quantificam a segurança contra regressões quando os requisitos mudam. Avaliamos a TDAD no SpecSuite-Core, um *benchmark* de quatro agentes profundamente especificados abrangendo conformidade com políticas, análises fundamentadas, adesão a procedimentos operacionais e aplicação determinística. Em 24 testes independentes, a TDAD alcança 92% de sucesso na compilação v1 com taxa média de aprovação oculta de 97%; especificações evoluídas são compiladas a 58%, com a maioria das execuções falhadas aprovando todos os testes visíveis exceto 1-2, e mostram escores de mutação de 86-100%, taxa de aprovação oculta v2 de 78% e escores de segurança contra regressões de 97%. A implementação está disponível como um *benchmark* aberto em https://github.com/f-labs-io/tdad-paper-code.
English
We present Test-Driven AI Agent Definition (TDAD), a methodology that treats agent prompts as compiled artifacts: engineers provide behavioral specifications, a coding agent converts them into executable tests, and a second coding agent iteratively refines the prompt until tests pass. Deploying tool-using LLM agents in production requires measurable behavioral compliance that current development practices cannot provide. Small prompt changes cause silent regressions, tool misuse goes undetected, and policy violations emerge only after deployment. To mitigate specification gaming, TDAD introduces three mechanisms: (1) visible/hidden test splits that withhold evaluation tests during compilation, (2) semantic mutation testing via a post-compilation agent that generates plausible faulty prompt variants, with the harness measuring whether the test suite detects them, and (3) spec evolution scenarios that quantify regression safety when requirements change. We evaluate TDAD on SpecSuite-Core, a benchmark of four deeply-specified agents spanning policy compliance, grounded analytics, runbook adherence, and deterministic enforcement. Across 24 independent trials, TDAD achieves 92% v1 compilation success with 97% mean hidden pass rate; evolved specifications compile at 58%, with most failed runs passing all visible tests except 1-2, and show 86-100% mutation scores, 78% v2 hidden pass rate, and 97% regression safety scores. The implementation is available as an open benchmark at https://github.com/f-labs-io/tdad-paper-code.