PolicyGuard : un vérificateur de sous-agent ancré dans le dialogue pour le respect des politiques dans les agents LLM

Résumé

Les agents LLM traitent les requêtes des utilisateurs pour le compte d’organisations au moyen d’appels d’outils et doivent respecter les politiques de l’entreprise énoncées dans leurs instructions système. Les travaux antérieurs abordent ce problème sous l’angle de la sécurisation – des vérifications externes qui bloquent les actions des agents non conformes. Nous soutenons que le respect des politiques est un problème plus large : les flux de travail réels se déroulent sur plusieurs tours, nécessitent une confirmation explicite de l’utilisateur et des lectures préalables, et dépendent du contenu du dialogue plutôt que de la valeur d’un seul argument. Atteindre ce niveau exige (i) un contexte conversationnel complet, (ii) un auto-raisonnement sur la politique et le dialogue en cours, et (iii) une remédiation propre à la conversation qui guide le tour suivant de l’agent – trois capacités que les travaux antérieurs sur la sécurisation ont souvent sous-estimées. Nous présentons POLICYGUARD, un vérificateur sous-agent qui partage la vision du dialogue de l’agent, raisonne sur la politique en contexte et fournit un retour d’information exploitable pour le tour suivant de l’agent. Sur le banc d’essai tau²-BENCH airline pour trois fournisseurs (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) avec quatre essais par configuration, POLICYGUARD améliore PASS4 de +12,0 / +6,0 / +12,0 points de pourcentage. Des analyses par appel montrent que POLICYGUARD obtient un meilleur rappel des violations de politique tout en bloquant environ deux fois moins souvent que les gardiens au niveau des arguments.

English

LLM agents handle user requests on behalf of organizations through tool calls and must follow the company policies stated in their system prompts. Prior work approaches this as a safeguarding problem -- external checks that block non-compliant agent actions. We argue that policy adherence is a broader problem: real workflows unfold across many turns, require explicit user confirmation and prerequisite reads, and hinge on the content of the dialogue rather than on any single argument value. Meeting this bar requires (i) full conversation context, (ii) self-reasoning over the policy and the current dialogue, and (iii) conversation-specific remediation that guides the agent's next turn -- three capabilities that prior safeguard work has often underestimated. We introduce POLICYGUARD, a sub-agent verifier that shares the agent's view of the dialogue, reasons over the policy in context, and provides actionable feedback for the agent's next turn. On tau^2-BENCH airline across three vendors (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) with four trials per setting, POLICYGUARD improves PASS4 by +12.0 / +6.0 / +12.0 pp. Per-call analyses show POLICYGUARD achieves higher policy-violation recall while blocking roughly half as often as argument-level guards.