PolicyGuard: LLM 에이전트의 정책 준수를 위한 대화 기반 하위 에이전트 검증기

초록

LLM 에이전트는 조직을 대신하여 도구 호출을 통해 사용자 요청을 처리하며, 시스템 프롬프트에 명시된 회사 정책을 따라야 한다. 기존 연구는 이를 보호 문제, 즉 규정을 위반하는 에이전트 행동을 차단하는 외부 검사 방식으로 접근했다. 그러나 우리는 정책 준수가 더 광범위한 문제라고 주장한다. 실제 워크플로는 여러 턴에 걸쳐 전개되며, 명시적 사용자 확인과 선행 읽기를 요구하고, 단일 인자 값이 아닌 대화 내용에 의존하기 때문이다. 이러한 기준을 충족하려면 (i) 전체 대화 맥락, (ii) 정책 및 현재 대화에 대한 자기 추론, (iii) 에이전트의 다음 턴을 안내하는 대화별 시정 조치가 필요하다. 이는 기존 보호 연구에서 종종 과소평가된 세 가지 능력이다. 우리는 POLICYGUARD를 소개한다. 이는 에이전트와 대화 보기를 공유하고, 맥락 내에서 정책을 추론하며, 에이전트의 다음 턴에 대한 실행 가능한 피드백을 제공하는 하위 에이전트 검증기이다. tau²-BENCH 항공 데이터셋에서 세 가지 벤더(GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro)와 설정별 4회 시행을 통해 POLICYGUARD는 PASS4를 각각 +12.0, +6.0, +12.0 퍼센트 포인트 개선했다. 호출별 분석 결과, POLICYGUARD가 인자 수준 보호 장치보다 차단 빈도는 약 절반이면서도 더 높은 정책 위반 재현율을 달성함을 보여준다.

English

LLM agents handle user requests on behalf of organizations through tool calls and must follow the company policies stated in their system prompts. Prior work approaches this as a safeguarding problem -- external checks that block non-compliant agent actions. We argue that policy adherence is a broader problem: real workflows unfold across many turns, require explicit user confirmation and prerequisite reads, and hinge on the content of the dialogue rather than on any single argument value. Meeting this bar requires (i) full conversation context, (ii) self-reasoning over the policy and the current dialogue, and (iii) conversation-specific remediation that guides the agent's next turn -- three capabilities that prior safeguard work has often underestimated. We introduce POLICYGUARD, a sub-agent verifier that shares the agent's view of the dialogue, reasons over the policy in context, and provides actionable feedback for the agent's next turn. On tau^2-BENCH airline across three vendors (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) with four trials per setting, POLICYGUARD improves PASS4 by +12.0 / +6.0 / +12.0 pp. Per-call analyses show POLICYGUARD achieves higher policy-violation recall while blocking roughly half as often as argument-level guards.