SafePyramid: иерархический бенчмарк для контекстного ограждения политики

Аннотация

В реальных приложениях защитные механизмы часто должны выявлять небезопасные взаимодействия между пользователем и моделью в соответствии с политиками безопасности, специфичными для конкретного приложения, а не полагаться на заранее заданные таксономии рисков. В данной работе мы изучаем эту задачу в парадигме контекстного применения политик безопасности (in-context policy guardrailing), где защитные механизмы предсказывают нарушения безопасности на основе спецификаций политик, предоставленных в контексте. Для систематической оценки этой возможности мы представляем SafePyramid — эталон безопасности, включающий 1000 многоэтапных диалогов в 10 предметных областях и 3000 соответствующих политик, специфичных для приложений, которые в совокупности содержат 61 699 различных правил на естественном языке. SafePyramid организует оценку по трем уровням сложности: L0 оценивает понимание отдельных правил, L1 — рассуждения о зависимостях между правилами, а L2 — адаптацию к целостным новым наборам политик, заданным в контексте. Для обеспечения качества эталона мы применяем строгий многоэтапный конвейер для его построения и валидации. Используя SafePyramid, мы оцениваем 10 передовых LLM и 5 настраиваемых по политикам защитных механизмов и обнаруживаем, что контекстное применение политик безопасности остается крайне сложной задачей: даже лучшая модель GPT-5.5 полностью определяет весь набор нарушенных правил лишь в 54,0%, 35,3% и 12,9% случаев на уровнях L0, L1 и L2 соответственно. Эти результаты подчеркивают ограниченность современных защитных механизмов и указывают на необходимость более надежных контекстных защитных механизмов, способных надежно выполнять политики, разрешать зависимости между правилами и адаптироваться к новым наборам политик.

English

In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.