ShieldAgent : Protection des agents via un raisonnement vérifiable sur les politiques de sécurité

ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning

March 26, 2025

Auteurs: Zhaorun Chen, Mintong Kang, Bo Li

cs.AI

Résumé

Les agents autonomes alimentés par des modèles de fondation ont connu une adoption généralisée dans diverses applications du monde réel. Cependant, ils restent très vulnérables aux instructions malveillantes et aux attaques, ce qui peut entraîner des conséquences graves telles que des violations de la vie privée et des pertes financières. Plus critique encore, les dispositifs de protection existants pour les LLM ne sont pas applicables en raison de la nature complexe et dynamique des agents. Pour relever ces défis, nous proposons ShieldAgent, le premier agent de protection conçu pour faire respecter explicitement les politiques de sécurité concernant la trajectoire d'actions d'autres agents protégés, grâce à un raisonnement logique. Concrètement, ShieldAgent commence par construire un modèle de politique de sécurité en extrayant des règles vérifiables à partir de documents de politique et en les structurant en un ensemble de circuits de règles probabilistes basés sur les actions. Étant donné la trajectoire d'actions de l'agent protégé, ShieldAgent récupère les circuits de règles pertinents et génère un plan de protection, en s'appuyant sur sa bibliothèque complète d'outils et sur du code exécutable pour la vérification formelle. Par ailleurs, face au manque de benchmarks de protection pour les agents, nous introduisons ShieldAgent-Bench, un ensemble de données contenant 3 000 paires d'instructions et de trajectoires d'actions liées à la sécurité, collectées via des attaques de pointe dans 6 environnements web et 7 catégories de risques. Les expériences montrent que ShieldAgent atteint des performances de pointe sur ShieldAgent-Bench et trois benchmarks existants, surpassant les méthodes précédentes de 11,3 % en moyenne avec un rappel élevé de 90,1 %. De plus, ShieldAgent réduit les requêtes API de 64,7 % et le temps d'inférence de 58,2 %, démontrant ainsi sa grande précision et son efficacité dans la protection des agents.

English

Autonomous agents powered by foundation models have seen widespread adoption across various real-world applications. However, they remain highly vulnerable to malicious instructions and attacks, which can result in severe consequences such as privacy breaches and financial losses. More critically, existing guardrails for LLMs are not applicable due to the complex and dynamic nature of agents. To tackle these challenges, we propose ShieldAgent, the first guardrail agent designed to enforce explicit safety policy compliance for the action trajectory of other protected agents through logical reasoning. Specifically, ShieldAgent first constructs a safety policy model by extracting verifiable rules from policy documents and structuring them into a set of action-based probabilistic rule circuits. Given the action trajectory of the protected agent, ShieldAgent retrieves relevant rule circuits and generates a shielding plan, leveraging its comprehensive tool library and executable code for formal verification. In addition, given the lack of guardrail benchmarks for agents, we introduce ShieldAgent-Bench, a dataset with 3K safety-related pairs of agent instructions and action trajectories, collected via SOTA attacks across 6 web environments and 7 risk categories. Experiments show that ShieldAgent achieves SOTA on ShieldAgent-Bench and three existing benchmarks, outperforming prior methods by 11.3% on average with a high recall of 90.1%. Additionally, ShieldAgent reduces API queries by 64.7% and inference time by 58.2%, demonstrating its high precision and efficiency in safeguarding agents.