PolicyGuard: Основанный на диалоге верификатор субагентов для соблюдения политик в LLM-агентах

Аннотация

Агенты LLM выполняют запросы пользователей от имени организаций посредством вызовов инструментов и обязаны следовать корпоративным политикам, заданным в их системных подсказках. Предшествующие работы подходят к этому как к проблеме защиты — внешние проверки, блокирующие несоответствующие действия агента. Мы утверждаем, что соблюдение политик является более широкой проблемой: реальные рабочие процессы разворачиваются в течение многих шагов, требуют явного подтверждения пользователя и предварительного ознакомления, а также зависят от содержания диалога, а не от какого-либо одного значения аргумента. Для достижения этого уровня необходимы (i) полный контекст разговора, (ii) самостоятельное рассуждение о политиках и текущем диалоге, и (iii) специфические для разговора корректирующие меры, направляющие следующий шаг агента — три возможности, которые предыдущие работы по защите часто недооценивали. Мы представляем POLICYGUARD — верификатор под-агента, который разделяет взгляд агента на диалог, рассуждает о политиках в контексте и предоставляет действенную обратную связь для следующего шага агента. На уровне tau^2-BENCH airline для трех поставщиков (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) с четырьмя запусками на каждую конфигурацию POLICYGUARD повышает показатель PASS4 на +12.0 / +6.0 / +12.0 п.п. Анализ отдельных вызовов показывает, что POLICYGUARD достигает более высокого уровня обнаружения нарушений политик, блокируя при этом примерно в два раза реже, чем защита на уровне аргументов.

English

LLM agents handle user requests on behalf of organizations through tool calls and must follow the company policies stated in their system prompts. Prior work approaches this as a safeguarding problem -- external checks that block non-compliant agent actions. We argue that policy adherence is a broader problem: real workflows unfold across many turns, require explicit user confirmation and prerequisite reads, and hinge on the content of the dialogue rather than on any single argument value. Meeting this bar requires (i) full conversation context, (ii) self-reasoning over the policy and the current dialogue, and (iii) conversation-specific remediation that guides the agent's next turn -- three capabilities that prior safeguard work has often underestimated. We introduce POLICYGUARD, a sub-agent verifier that shares the agent's view of the dialogue, reasons over the policy in context, and provides actionable feedback for the agent's next turn. On tau^2-BENCH airline across three vendors (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) with four trials per setting, POLICYGUARD improves PASS4 by +12.0 / +6.0 / +12.0 pp. Per-call analyses show POLICYGUARD achieves higher policy-violation recall while blocking roughly half as often as argument-level guards.