StepGuard: スケーラブルな監督と安全性・有用性のバランスによるステップレベルのガードレール学習

要旨

LLMベースのエージェントはツール呼び出しを通じて外部環境と対話できるが、この能力はファイル改ざん、情報漏洩、不正なアクションといったセキュリティリスクももたらす。既存のガードレールは完了した軌跡を評価することが多く、ステップレベルのアクションに対する実行前監視は未開拓のままである。我々は、完了したエージェントの軌跡を監査し、ツールアクションを実行前にチェックできるステップレベルのガードモデルであるStepGuardを提案する。StepGuardを訓練するために、同じコンテキストでリスクのあるステップのアクションのみが異なる安全・不安全な軌跡を生成する自動データエンジンであるStepGenを導入する。過剰防衛と過小防衛をさらに低減するため、観測された精度に基づいて安全アクションと不安全アクションの学習を動的にバランスさせるBalance-GRPOを提案する。実験では、StepGuardはオープンウェイトのガードモデルの中で最高の平均精度を達成し、GPT-5.4に匹敵する性能を示す。AgentDojoとAgentDyn上のエージェントをガードする際、StepGuardはガードなし設定と比較して平均攻撃成功率を77.3%削減し、平均ユーティリティはわずか2.8ポイントの低下にとどまる。

English

LLM-based agents can interact with external environments through tool invocation, but this capability also introduces security risks such as file modification, information leakage, and unauthorized actions. Existing guardrails often evaluate completed trajectories, leaving pre-execution monitoring of step-level actions underexplored. We propose StepGuard, a step-level guard model that can audit completed agent trajectories and check tool actions before they are executed. To train StepGuard, we introduce StepGen, an automatic data engine that generates safe and unsafe trajectories with the same context but different actions at the risky step. To further reduce over-defense and under-defense, we propose Balance-GRPO, which dynamically balances learning between safe and unsafe actions based on their observed accuracy. Experiments show that StepGuard achieves the highest average accuracy among open-weight guard models, with performance comparable to GPT-5.4. When used to guard agents on AgentDojo and AgentDyn, StepGuard reduces mean attack success rate by 77.3% relative to the no-guard setting, while mean utility drops by only 2.8 percentage points.