Тест-ориентированное определение ИИ-агента (TDAD): компиляция инструментальных агентов из поведенческих спецификаций
Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications
March 9, 2026
Авторы: Tzafrir Rehan
cs.AI
Аннотация
Мы представляем методологию Test-Driven AI Agent Definition (TDAD), которая рассматривает промты агентов как скомпилированные артефакты: инженеры предоставляют поведенческие спецификации, агент-кодер преобразует их в исполняемые тесты, а второй агент-кодер итеративно дорабатывает промт до прохождения тестов. Развертывание LLM-агентов, использующих инструменты, в промышленной эксплуатации требует измеримого соответствия поведения, которое не могут обеспечить современные практики разработки. Незначительные изменения в промтах приводят к тихим регрессиям, misuse инструментов остается незамеченным, а нарушения политик выявляются только после развертывания. Для снижения риска обхода спецификаций TDAD вводит три механизма: (1) разделение тестов на видимые/скрытые, при котором оценочные тесты удерживаются во время компиляции, (2) семантическое мутационное тестирование с помощью агента, который после компиляции генерирует правдоподобные ошибочные варианты промтов, а тестовая обвязка измеряет, обнаруживает ли их тестовый набор, и (3) сценарии эволюции спецификаций, которые количественно оценивают безопасность от регрессий при изменении требований. Мы оцениваем TDAD на SpecSuite-Core — бенчмарке четырех глубоко специфицированных агентов, охватывающих соответствие политикам, обоснованную аналитику, соблюдение руководств и детерминистическое enforcement. В 24 независимых испытаниях TDAD демонстрирует 92% успешной компиляции для v1 со средним процентом прохождения скрытых тестов 97%; эволюционировавшие спецификации компилируются в 58% случаев, причем большинство неудачных прогонов проходят все видимые тесты, кроме 1-2, и показывают мутационные баллы 86-100%, 78% прохождения скрытых тестов для v2 и 97% баллов безопасности от регрессий. Реализация доступна в качестве открытого бенчмарка по адресу https://github.com/f-labs-io/tdad-paper-code.
English
We present Test-Driven AI Agent Definition (TDAD), a methodology that treats agent prompts as compiled artifacts: engineers provide behavioral specifications, a coding agent converts them into executable tests, and a second coding agent iteratively refines the prompt until tests pass. Deploying tool-using LLM agents in production requires measurable behavioral compliance that current development practices cannot provide. Small prompt changes cause silent regressions, tool misuse goes undetected, and policy violations emerge only after deployment. To mitigate specification gaming, TDAD introduces three mechanisms: (1) visible/hidden test splits that withhold evaluation tests during compilation, (2) semantic mutation testing via a post-compilation agent that generates plausible faulty prompt variants, with the harness measuring whether the test suite detects them, and (3) spec evolution scenarios that quantify regression safety when requirements change. We evaluate TDAD on SpecSuite-Core, a benchmark of four deeply-specified agents spanning policy compliance, grounded analytics, runbook adherence, and deterministic enforcement. Across 24 independent trials, TDAD achieves 92% v1 compilation success with 97% mean hidden pass rate; evolved specifications compile at 58%, with most failed runs passing all visible tests except 1-2, and show 86-100% mutation scores, 78% v2 hidden pass rate, and 97% regression safety scores. The implementation is available as an open benchmark at https://github.com/f-labs-io/tdad-paper-code.