StepGuard: 확장 가능한 감독과 안전-효용 균형을 통한 단계 수준 가드레일 학습

초록

LLM 기반 에이전트는 도구 호출을 통해 외부 환경과 상호작용할 수 있지만, 이러한 능력은 파일 수정, 정보 유출, 무단 작업과 같은 보안 위험도 야기한다. 기존 가드레일은 주로 완료된 궤적을 평가하여, 단계 수준 행동의 실행 전 모니터링은 충분히 연구되지 않았다. 우리는 완료된 에이전트 궤적을 검토하고 도구 행동이 실행되기 전에 확인할 수 있는 단계 수준 가드 모델인 StepGuard를 제안한다. StepGuard를 훈련하기 위해, 위험한 단계에서 동일한 맥락을 가지지만 서로 다른 행동을 수행하는 안전 및 불안전 궤적을 생성하는 자동 데이터 엔진인 StepGen을 도입한다. 과잉 방어와 과소 방어를 더욱 줄이기 위해, 관찰된 정확도에 기반하여 안전한 행동과 불안전한 행동 간의 학습을 동적으로 균형 조정하는 Balance-GRPO를 제안한다. 실험 결과, StepGuard는 오픈 가중치 가드 모델 중 가장 높은 평균 정확도를 달성하며 GPT-5.4에 필적하는 성능을 보인다. AgentDojo와 AgentDyn에서 에이전트를 가드하는 데 사용될 때, StepGuard는 가드가 없는 설정 대비 평균 공격 성공률을 77.3% 감소시키는 반면, 평균 유틸리티는 단 2.8퍼센트 포인트만 감소한다.

English

LLM-based agents can interact with external environments through tool invocation, but this capability also introduces security risks such as file modification, information leakage, and unauthorized actions. Existing guardrails often evaluate completed trajectories, leaving pre-execution monitoring of step-level actions underexplored. We propose StepGuard, a step-level guard model that can audit completed agent trajectories and check tool actions before they are executed. To train StepGuard, we introduce StepGen, an automatic data engine that generates safe and unsafe trajectories with the same context but different actions at the risky step. To further reduce over-defense and under-defense, we propose Balance-GRPO, which dynamically balances learning between safe and unsafe actions based on their observed accuracy. Experiments show that StepGuard achieves the highest average accuracy among open-weight guard models, with performance comparable to GPT-5.4. When used to guard agents on AgentDojo and AgentDyn, StepGuard reduces mean attack success rate by 77.3% relative to the no-guard setting, while mean utility drops by only 2.8 percentage points.