PolicyGuide: 単一アクションのガードからワークフロー全体のガイドへ——ポリシー準拠LLMエージェントのために

要旨

カスタマーサービス用LLMエージェントは、ユーザーに代わって行動する際に組織ポリシーに従わなければならない。コンプライアンス違反は、資格のない変更を許可するなどの禁止行為、または本人確認や確認などの必須手続きの省略によって生じる。実行時セーフガードはリスクの高い行動に介入できるが、アクション単位のチェックではエージェントを多段階の手順へ導くことはできない。ワークフロー追従システムは規定されたプロセス実行を支援するが、主にワークフローの完了を目標としており、エージェントの行動の保護を目的としていない。これに対しPolicyGuideは、各ドメインポリシーをワークフローグラフにコンパイルし、ユーザーターン境界でプロアクティブ検証器を呼び出す。永続化されたグラフ状態から、検証器は未処理の要求を調整し、ポリシー準拠の経路に沿ったステップ固有の是正措置を返す。τ^2-benchの航空、小売、通信ドメインにおいてGPT-5.4エージェントと検証器を用いた評価では、PolicyGuideは平均Pass^4を0.42から0.62へ向上させた。最大の改善は最もワークフロー構造化されたドメインである通信で見られ（0.19から0.61）、同じワークフローはClaude Sonnet 4.6およびGemini 2.5 Proエージェントにも転用可能である。補完的評価では、敵対的ユーザー下での攻撃成功率が最も低く、著者らが設計したワークフローレベル検証において最強の手続きコンプライアンスが確認された。

English

Customer-service LLM agents must follow organizational policy when acting on a user's behalf. Compliance failures arise from either forbidden actions, such as granting an ineligible change, or omitted procedural requirements, such as identification or confirmation. Runtime safeguards can intervene on risky actions, but action-local checks do not guide an agent through a multi-step procedure. Workflow-following systems support prescribed process execution, but primarily target workflow completion rather than safeguarding agent behavior. PolicyGuide instead compiles each domain policy into a workflow graph and invokes a proactive verifier at user-turn boundaries. From persisted graph state, the verifier reconciles open requests and returns step-specific remediation along a policy-compliant path. Across the τ^2-bench airline, retail, and telecom domains with a GPT-5.4 agent and verifier, PolicyGuide raises mean Pass^4 from 0.42 to 0.62, with the largest gain on telecom (0.19 to 0.61), the most workflow-structured domain. The same workflows transfer to Claude Sonnet 4.6 and Gemini 2.5 Pro agents. Complementary evaluations find the lowest observed attack-success rate under adversarial users and the strongest procedural compliance in an author-designed workflow-level validation.