ShieldAgent: Het Beschermen van Agents via Verifieerbare Veiligheidsbeleidsredenering

ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning

March 26, 2025

Auteurs: Zhaorun Chen, Mintong Kang, Bo Li

cs.AI

Samenvatting

Autonome agents aangedreven door foundation-modellen hebben brede adoptie gezien in verschillende real-world toepassingen. Ze blijven echter zeer kwetsbaar voor kwaadaardige instructies en aanvallen, wat kan leiden tot ernstige gevolgen zoals privacyschendingen en financiële verliezen. Nog kritischer is dat bestaande beveiligingsmaatregelen voor LLM's niet toepasbaar zijn vanwege de complexe en dynamische aard van agents. Om deze uitdagingen aan te pakken, stellen we ShieldAgent voor, de eerste guardrail-agent die expliciete naleving van veiligheidsbeleid afdwingt voor de actietrajecten van andere beschermde agents door middel van logisch redeneren. Specifiek construeert ShieldAgent eerst een veiligheidsbeleidsmodel door verifieerbare regels uit beleidsdocumenten te extraheren en deze te structureren in een set actiegebaseerde probabilistische regelcircuits. Gegeven het actietraject van de beschermde agent, haalt ShieldAgent relevante regelcircuits op en genereert een afschermingsplan, waarbij het gebruik maakt van zijn uitgebreide toolbibliotheek en uitvoerbare code voor formele verificatie. Daarnaast introduceren we, gezien het gebrek aan guardrail-benchmarks voor agents, ShieldAgent-Bench, een dataset met 3K veiligheidsgerelateerde paren van agentinstructies en actietrajecten, verzameld via state-of-the-art aanvallen in 6 webomgevingen en 7 risicocategorieën. Experimenten tonen aan dat ShieldAgent state-of-the-art prestaties behaalt op ShieldAgent-Bench en drie bestaande benchmarks, waarbij het eerdere methodes met gemiddeld 11,3% overtreft met een hoge recall van 90,1%. Bovendien reduceert ShieldAgent API-query's met 64,7% en inferentietijd met 58,2%, wat zijn hoge precisie en efficiëntie in het beschermen van agents aantoont.

English

Autonomous agents powered by foundation models have seen widespread adoption across various real-world applications. However, they remain highly vulnerable to malicious instructions and attacks, which can result in severe consequences such as privacy breaches and financial losses. More critically, existing guardrails for LLMs are not applicable due to the complex and dynamic nature of agents. To tackle these challenges, we propose ShieldAgent, the first guardrail agent designed to enforce explicit safety policy compliance for the action trajectory of other protected agents through logical reasoning. Specifically, ShieldAgent first constructs a safety policy model by extracting verifiable rules from policy documents and structuring them into a set of action-based probabilistic rule circuits. Given the action trajectory of the protected agent, ShieldAgent retrieves relevant rule circuits and generates a shielding plan, leveraging its comprehensive tool library and executable code for formal verification. In addition, given the lack of guardrail benchmarks for agents, we introduce ShieldAgent-Bench, a dataset with 3K safety-related pairs of agent instructions and action trajectories, collected via SOTA attacks across 6 web environments and 7 risk categories. Experiments show that ShieldAgent achieves SOTA on ShieldAgent-Bench and three existing benchmarks, outperforming prior methods by 11.3% on average with a high recall of 90.1%. Additionally, ShieldAgent reduces API queries by 64.7% and inference time by 58.2%, demonstrating its high precision and efficiency in safeguarding agents.