ShieldAgent: Absicherung von Agenten durch verifizierbare Sicherheitsrichtlinienlogik

ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning

March 26, 2025

Autoren: Zhaorun Chen, Mintong Kang, Bo Li

cs.AI

Zusammenfassung

Autonome Agenten, die auf Foundation-Modellen basieren, haben in verschiedenen realen Anwendungen breite Akzeptanz gefunden. Sie bleiben jedoch äußerst anfällig für bösartige Anweisungen und Angriffe, die schwerwiegende Folgen wie Datenschutzverletzungen und finanzielle Verluste nach sich ziehen können. Noch kritischer ist, dass bestehende Sicherheitsvorkehrungen für LLMs aufgrund der komplexen und dynamischen Natur von Agenten nicht anwendbar sind. Um diese Herausforderungen zu bewältigen, schlagen wir ShieldAgent vor, den ersten Sicherheitsagenten, der explizite Einhaltung von Sicherheitsrichtlinien für die Aktionspfade anderer geschützter Agenten durch logisches Schlussfolgern durchsetzt. Konkret konstruiert ShieldAgent zunächst ein Sicherheitsrichtlinienmodell, indem überprüfbare Regeln aus Richtliniendokumenten extrahiert und in eine Reihe von aktionsbasierten probabilistischen Regelkreisen strukturiert werden. Basierend auf dem Aktionspfad des geschützten Agenten ruft ShieldAgent relevante Regelkreise ab und erstellt einen Schutzplan, wobei es seine umfangreiche Werkzeugbibliothek und ausführbaren Code für formale Verifikation nutzt. Zusätzlich führen wir, angesichts des Mangels an Benchmark-Datensätzen für Sicherheitsvorkehrungen bei Agenten, ShieldAgent-Bench ein, einen Datensatz mit 3.000 sicherheitsrelevanten Paaren von Agentenanweisungen und Aktionspfaden, die durch State-of-the-Art-Angriffe in 6 Webumgebungen und 7 Risikokategorien gesammelt wurden. Experimente zeigen, dass ShieldAgent auf ShieldAgent-Bench und drei bestehenden Benchmarks State-of-the-Art-Ergebnisse erzielt und frühere Methoden im Durchschnitt um 11,3 % übertrifft, bei einer hohen Trefferquote von 90,1 %. Darüber hinaus reduziert ShieldAgent API-Abfragen um 64,7 % und die Inferenzzeit um 58,2 %, was seine hohe Präzision und Effizienz beim Schutz von Agenten unterstreicht.

English

Autonomous agents powered by foundation models have seen widespread adoption across various real-world applications. However, they remain highly vulnerable to malicious instructions and attacks, which can result in severe consequences such as privacy breaches and financial losses. More critically, existing guardrails for LLMs are not applicable due to the complex and dynamic nature of agents. To tackle these challenges, we propose ShieldAgent, the first guardrail agent designed to enforce explicit safety policy compliance for the action trajectory of other protected agents through logical reasoning. Specifically, ShieldAgent first constructs a safety policy model by extracting verifiable rules from policy documents and structuring them into a set of action-based probabilistic rule circuits. Given the action trajectory of the protected agent, ShieldAgent retrieves relevant rule circuits and generates a shielding plan, leveraging its comprehensive tool library and executable code for formal verification. In addition, given the lack of guardrail benchmarks for agents, we introduce ShieldAgent-Bench, a dataset with 3K safety-related pairs of agent instructions and action trajectories, collected via SOTA attacks across 6 web environments and 7 risk categories. Experiments show that ShieldAgent achieves SOTA on ShieldAgent-Bench and three existing benchmarks, outperforming prior methods by 11.3% on average with a high recall of 90.1%. Additionally, ShieldAgent reduces API queries by 64.7% and inference time by 58.2%, demonstrating its high precision and efficiency in safeguarding agents.