PolicyGuard: Ein dialoggestützter Sub-Agent-Prüfer für die Einhaltung von Richtlinien in LLM-Agenten

Zusammenfassung

LLM-Agenten bearbeiten im Auftrag von Organisationen Benutzeranfragen mittels Tool-Aufrufen und müssen dabei die in ihren System-Prompts festgelegten Unternehmensrichtlinien befolgen. Bisherige Arbeiten nähern sich diesem Problem als Absicherungsproblem – externe Prüfungen, die nicht konforme Aktionen des Agenten blockieren. Wir argumentieren, dass die Einhaltung von Richtlinien ein breiteres Problem darstellt: Reale Arbeitsabläufe erstrecken sich über viele Interaktionen, erfordern explizite Benutzerbestätigungen und das vorherige Lesen von Voraussetzungen und hängen vom Inhalt des Dialogs ab, nicht von einem einzelnen Argumentwert. Um diese Anforderung zu erfüllen, sind (i) vollständiger Gesprächskontext, (ii) selbstständiges Abwägen der Richtlinie im aktuellen Dialog und (iii) gesprächsspezifische Korrekturmaßnahmen, die den nächsten Schritt des Agenten lenken, erforderlich – drei Fähigkeiten, die in bisherigen Absicherungsarbeiten oft unterschätzt wurden. Wir führen POLICYGUARD ein, einen Sub-Agent-Verifizierer, der die Sicht des Agenten auf den Dialog teilt, die Richtlinie im Kontext abwägt und umsetzbares Feedback für den nächsten Schritt des Agenten liefert. Auf dem tau^2-BENCH Airline-Datensatz mit drei Anbietern (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) und vier Durchläufen pro Einstellung verbessert POLICYGUARD den PASS4-Wert um +12,0 / +6,0 / +12,0 Prozentpunkte. Analysen pro Aufruf zeigen, dass POLICYGUARD eine höhere Erkennungsrate von Richtlinienverstößen erreicht, während es etwa halb so oft blockiert wie argumentebene Guards.

English

LLM agents handle user requests on behalf of organizations through tool calls and must follow the company policies stated in their system prompts. Prior work approaches this as a safeguarding problem -- external checks that block non-compliant agent actions. We argue that policy adherence is a broader problem: real workflows unfold across many turns, require explicit user confirmation and prerequisite reads, and hinge on the content of the dialogue rather than on any single argument value. Meeting this bar requires (i) full conversation context, (ii) self-reasoning over the policy and the current dialogue, and (iii) conversation-specific remediation that guides the agent's next turn -- three capabilities that prior safeguard work has often underestimated. We introduce POLICYGUARD, a sub-agent verifier that shares the agent's view of the dialogue, reasons over the policy in context, and provides actionable feedback for the agent's next turn. On tau^2-BENCH airline across three vendors (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) with four trials per setting, POLICYGUARD improves PASS4 by +12.0 / +6.0 / +12.0 pp. Per-call analyses show POLICYGUARD achieves higher policy-violation recall while blocking roughly half as often as argument-level guards.