SafePyramid: 문맥 내 정책 가드레일링을 위한 계층적 벤치마크

초록

실제 응용에서 가드레일은 사전 정의된 위험 분류에 의존하기보다 애플리케이션별 안전 정책에 따라 안전하지 않은 사용자-모델 상호작용을 식별하는 것이 흔히 요구된다. 본 연구에서는 이러한 설정을 맥락 내 정책 가드레일링(in-context policy guardrailing) 패러다임 하에서 연구한다. 여기서 가드레일은 맥락으로 제공된 정책 명세에 기반하여 안전 위반을 예측한다. 이러한 능력을 체계적으로 평가하기 위해, 우리는 SafePyramid를 소개한다. 이는 10개 도메인에 걸친 1,000개의 다중 턴 대화와 3,000개의 해당 애플리케이션별 정책으로 구성된 안전 벤치마크로, 총 61,699개의 개별 자연어 규칙을 포함한다. SafePyramid는 평가를 세 가지 난이도 수준으로 구성한다: L0은 개별 규칙 이해를, L1은 규칙 간 의존성에 대한 추론을, L2는 맥락에서 정의된 완전히 새로운 정책 체계에 대한 적응을 평가한다. 벤치마크 품질을 보장하기 위해, 우리는 엄격한 다단계 파이프라인을 사용하여 벤치마크를 구축하고 검증한다. SafePyramid를 활용하여 10개의 최첨단 LLM과 5개의 정책 설정 가능 가드레일을 평가한 결과, 맥락 내 정책 가드레일링은 여전히 매우 어려운 과제임을 발견했다. 최고 성능 모델인 GPT-5.5조차 L0, L1, L2에서 각각 54.0%, 35.3%, 12.9%의 경우에만 위반된 모든 규칙을 정확히 식별했다. 이러한 결과는 현재 가드레일의 한계를 강조하며, 정책을 안정적으로 실행하고, 규칙 의존성을 해결하며, 새로운 정책 체계에 적응할 수 있는 더 강력한 맥락 내 정책 가드레일의 필요성을 시사한다.

English

In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.