SafePyramid: Um Benchmark Hierárquico para Guarda de Política em Contexto

Resumo

Em aplicações do mundo real, as barreiras de proteção são frequentemente esperadas para identificar interações inseguras entre usuário e modelo de acordo com políticas de segurança específicas da aplicação, em vez de depender de taxonomias de risco predefinidas. Neste trabalho, estudamos esse cenário sob o paradigma de defesa de políticas no contexto, onde as barreiras de proteção preveem violações de segurança com base em especificações de políticas fornecidas no contexto. Para avaliar sistematicamente essa capacidade, introduzimos o SafePyramid, um benchmark de segurança composto por 1.000 conversas multiturno em 10 domínios e 3.000 políticas específicas de aplicação correspondentes, que juntas contêm 61.699 regras distintas em linguagem natural. O SafePyramid organiza a avaliação em três níveis de dificuldade: L0 avalia a compreensão de regras individuais, L1 avalia o raciocínio sobre dependências entre regras e L2 avalia a adaptação a arcabouços de políticas completamente novos definidos no contexto. Para garantir a qualidade do benchmark, empregamos um pipeline rigoroso de múltiplas etapas para construir e validar o benchmark. Utilizando o SafePyramid, avaliamos 10 LLMs de fronteira e 5 barreiras de proteção configuráveis por políticas e descobrimos que a defesa de políticas no contexto continua sendo altamente desafiadora: mesmo o modelo de melhor desempenho, GPT-5.5, identifica exatamente o conjunto completo de regras violadas em apenas 54,0%, 35,3% e 12,9% dos casos nos níveis L0, L1 e L2, respectivamente. Esses resultados destacam as limitações das barreiras de proteção atuais e clamam por barreiras de proteção de políticas no contexto mais robustas, capazes de executar políticas de forma confiável, resolver dependências entre regras e se adaptar a novos arcabouços de políticas.

English

In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.