SafePyramid: Un Benchmark Jerárquico para la Salvaguarda de Políticas en Contexto

Resumen

En aplicaciones del mundo real, a menudo se espera que los guardrails identifiquen interacciones inseguras entre usuario y modelo de acuerdo con políticas de seguridad específicas de la aplicación, en lugar de depender de taxonomías de riesgo predefinidas. En este trabajo, estudiamos este escenario bajo el paradigma del guardrail de políticas en contexto, donde los guardrails predicen violaciones de seguridad basándose en especificaciones de políticas proporcionadas en contexto. Para evaluar sistemáticamente esta capacidad, presentamos SafePyramid, un benchmark de seguridad que comprende 1,000 conversaciones de múltiples turnos en 10 dominios y 3,000 políticas específicas de aplicación correspondientes, que juntas contienen 61,699 reglas distintas en lenguaje natural. SafePyramid organiza la evaluación en tres niveles de dificultad: L0 evalúa la comprensión de reglas individuales, L1 evalúa el razonamiento sobre dependencias entre reglas, y L2 evalúa la adaptación a marcos de políticas completamente nuevos definidos en contexto. Para garantizar la calidad del benchmark, empleamos un riguroso proceso de múltiples etapas para construirlo y validarlo. Usando SafePyramid, evaluamos 10 LLMs de frontera y 5 guardrails configurables por políticas, y encontramos que el guardrail de políticas en contexto sigue siendo altamente desafiante: incluso el modelo con mejor rendimiento, GPT-5.5, identifica exactamente el conjunto completo de reglas violadas en solo el 54.0%, 35.3% y 12.9% de los casos en L0, L1 y L2, respectivamente. Estos resultados resaltan las limitaciones de los guardrails actuales y exigen guardrails de políticas en contexto más robustos que puedan ejecutar políticas de manera fiable, resolver dependencias entre reglas y adaptarse a marcos de políticas novedosos.

English

In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.