SafePyramid : un benchmark hiérarchique pour le gardiennage de politiques en contexte

Résumé

Dans les applications du monde réel, les garde-fous sont souvent censés identifier les interactions utilisateur-modèle non sécurisées conformément à des politiques de sécurité spécifiques à l'application, plutôt que de se reposer sur des taxonomies de risque prédéfinies. Dans ce travail, nous étudions ce cadre sous le paradigme du guidage par politiques en contexte, où les garde-fous prédisent les violations de sécurité en fonction de spécifications de politiques fournies en contexte. Pour évaluer systématiquement cette capacité, nous introduisons SafePyramid, un benchmark de sécurité comprenant 1 000 conversations multi-tours réparties sur 10 domaines et 3 000 politiques d'application correspondantes, qui contiennent ensemble 61 699 règles distinctes en langage naturel. SafePyramid organise l'évaluation en trois niveaux de difficulté : L0 évalue la compréhension de règles individuelles, L1 évalue le raisonnement sur les dépendances entre règles, et L2 évalue l'adaptation à des cadres politiques entièrement nouveaux définis en contexte. Pour garantir la qualité du benchmark, nous employons un pipeline rigoureux en plusieurs étapes pour le construire et le valider. À l'aide de SafePyramid, nous évaluons 10 LLMs de pointe et 5 garde-fous configurables par politiques, et constatons que le guidage par politiques en contexte reste très difficile : même le modèle le plus performant, GPT-5.5, n'identifie exactement l'ensemble complet des règles violées que dans 54,0 %, 35,3 % et 12,9 % des cas aux niveaux L0, L1 et L2 respectivement. Ces résultats soulignent les limites des garde-fous actuels et appellent à des garde-fous contextuels par politiques plus robustes, capables d'exécuter des politiques de manière fiable, de résoudre les dépendances entre règles et de s'adapter à de nouveaux cadres politiques.

English

In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.