SafePyramid: Ein hierarchischer Benchmark für In-Context-Policy-Guardrailing

Zusammenfassung

In realen Anwendungen wird von Guardrails häufig erwartet, dass sie unsichere Benutzer-Modell-Interaktionen gemäß anwendungsspezifischer Sicherheitsrichtlinien identifizieren, anstatt sich auf vordefinierte Risikotaxonomien zu stützen. In dieser Arbeit untersuchen wir dieses Szenario im Rahmen des In-Context-Policy-Guardrailing, bei dem Guardrails Sicherheitsverstöße auf der Grundlage von im Kontext bereitgestellten Richtlinienspezifikationen vorhersagen. Um diese Fähigkeit systematisch zu evaluieren, führen wir SafePyramid ein, einen Sicherheits-Benchmark, der 1.000 mehrrundige Gespräche in 10 Bereichen und 3.000 entsprechende anwendungsspezifische Richtlinien umfasst, die zusammen 61.699 verschiedene natürlichsprachliche Regeln enthalten. SafePyramid gliedert die Evaluierung in drei Schwierigkeitsstufen: L0 bewertet das Verständnis einzelner Regeln, L1 bewertet das logische Schließen über Regelabhängigkeiten und L2 bewertet die Anpassung vollständig neuer, im Kontext definierter Richtlinienrahmen. Zur Sicherstellung der Benchmark-Qualität nutzen wir eine strenge mehrstufige Pipeline zur Erstellung und Validierung des Benchmarks. Mit SafePyramid evaluieren wir zehn führende LLMs und fünf richtlinienkonfigurierbare Guardrails und stellen fest, dass In-Context-Policy-Guardrailing nach wie vor eine große Herausforderung darstellt: Selbst das leistungsfähigste Modell, GPT-5.5, identifiziert die vollständige Menge der verletzten Regeln bei L0, L1 bzw. L2 nur in 54,0 %, 35,3 % und 12,9 % der Fälle exakt. Diese Ergebnisse verdeutlichen die Einschränkungen aktueller Guardrails und unterstreichen die Notwendigkeit leistungsfähigerer In-Context-Policy-Guardrails, die Richtlinien zuverlässig umsetzen, Regelabhängigkeiten auflösen und sich an neuartige Richtlinienrahmen anpassen können.

English

In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.