PolicyGuard: Een dialooggebaseerde sub-agentverificateur voor beleidsnaleving in LLM-agenten

Samenvatting

LLM-agents verwerken gebruikersverzoeken namens organisaties via toolaanroepen en moeten de bedrijfsbeleidsregels volgen die in hun systeemprompts zijn vastgelegd. Eerder werk benadert dit als een beveiligingsprobleem – externe controles die niet-conforme agentacties blokkeren. Wij betogen dat beleidsnaleving een breder probleem is: echte workflows ontvouwen zich over vele beurten, vereisen expliciete gebruikersbevestiging en voorafgaande lezingen, en hangen af van de inhoud van de dialoog in plaats van een enkele argumentwaarde. Om aan deze vereiste te voldoen is (i) volledige gesprekscontext, (ii) zelfredenering over het beleid en de huidige dialoog, en (iii) gespreksspecifieke correctie die de volgende beurt van de agent stuurt nodig – drie capaciteiten die eerder beveiligingswerk vaak heeft onderschat. We introduceren POLICYGUARD, een sub-agentverificateur die de kijk van de agent op de dialoog deelt, over het beleid in context redeneert en bruikbare feedback voor de volgende beurt van de agent geeft. Op tau²-BENCH airline bij drie leveranciers (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) met vier proeven per instelling, verbetert POLICYGUARD PASS4 met +12,0 / +6,0 / +12,0 procentpunt. Per-aanroepanalyses tonen aan dat POLICYGUARD een hogere recall voor beleidsschendingen behaalt terwijl het ongeveer half zo vaak blokkeert als argumentniveau-beveiligingen.

English

LLM agents handle user requests on behalf of organizations through tool calls and must follow the company policies stated in their system prompts. Prior work approaches this as a safeguarding problem -- external checks that block non-compliant agent actions. We argue that policy adherence is a broader problem: real workflows unfold across many turns, require explicit user confirmation and prerequisite reads, and hinge on the content of the dialogue rather than on any single argument value. Meeting this bar requires (i) full conversation context, (ii) self-reasoning over the policy and the current dialogue, and (iii) conversation-specific remediation that guides the agent's next turn -- three capabilities that prior safeguard work has often underestimated. We introduce POLICYGUARD, a sub-agent verifier that shares the agent's view of the dialogue, reasons over the policy in context, and provides actionable feedback for the agent's next turn. On tau^2-BENCH airline across three vendors (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) with four trials per setting, POLICYGUARD improves PASS4 by +12.0 / +6.0 / +12.0 pp. Per-call analyses show POLICYGUARD achieves higher policy-violation recall while blocking roughly half as often as argument-level guards.