ShieldAgent: Protegendo Agentes por meio de Raciocínio Verificável sobre Políticas de Segurança

ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning

March 26, 2025

Autores: Zhaorun Chen, Mintong Kang, Bo Li

cs.AI

Resumo

Agentes autônomos impulsionados por modelos de base têm sido amplamente adotados em diversas aplicações do mundo real. No entanto, eles permanecem altamente vulneráveis a instruções maliciosas e ataques, o que pode resultar em consequências graves, como violações de privacidade e perdas financeiras. Mais criticamente, as salvaguardas existentes para LLMs não são aplicáveis devido à natureza complexa e dinâmica dos agentes. Para enfrentar esses desafios, propomos o ShieldAgent, o primeiro agente de proteção projetado para garantir a conformidade explícita com políticas de segurança para a trajetória de ações de outros agentes protegidos por meio de raciocínio lógico. Especificamente, o ShieldAgent primeiro constrói um modelo de política de segurança extraindo regras verificáveis de documentos de política e estruturando-as em um conjunto de circuitos de regras probabilísticas baseadas em ações. Dada a trajetória de ações do agente protegido, o ShieldAgent recupera os circuitos de regras relevantes e gera um plano de proteção, aproveitando sua biblioteca abrangente de ferramentas e código executável para verificação formal. Além disso, dada a falta de benchmarks de proteção para agentes, introduzimos o ShieldAgent-Bench, um conjunto de dados com 3K pares de instruções e trajetórias de ações relacionadas à segurança, coletados por meio de ataques de última geração em 6 ambientes web e 7 categorias de risco. Experimentos mostram que o ShieldAgent alcança o estado da arte no ShieldAgent-Bench e em três benchmarks existentes, superando métodos anteriores em média 11,3% com uma alta taxa de recall de 90,1%. Adicionalmente, o ShieldAgent reduz consultas de API em 64,7% e o tempo de inferência em 58,2%, demonstrando sua alta precisão e eficiência na proteção de agentes.

English

Autonomous agents powered by foundation models have seen widespread adoption across various real-world applications. However, they remain highly vulnerable to malicious instructions and attacks, which can result in severe consequences such as privacy breaches and financial losses. More critically, existing guardrails for LLMs are not applicable due to the complex and dynamic nature of agents. To tackle these challenges, we propose ShieldAgent, the first guardrail agent designed to enforce explicit safety policy compliance for the action trajectory of other protected agents through logical reasoning. Specifically, ShieldAgent first constructs a safety policy model by extracting verifiable rules from policy documents and structuring them into a set of action-based probabilistic rule circuits. Given the action trajectory of the protected agent, ShieldAgent retrieves relevant rule circuits and generates a shielding plan, leveraging its comprehensive tool library and executable code for formal verification. In addition, given the lack of guardrail benchmarks for agents, we introduce ShieldAgent-Bench, a dataset with 3K safety-related pairs of agent instructions and action trajectories, collected via SOTA attacks across 6 web environments and 7 risk categories. Experiments show that ShieldAgent achieves SOTA on ShieldAgent-Bench and three existing benchmarks, outperforming prior methods by 11.3% on average with a high recall of 90.1%. Additionally, ShieldAgent reduces API queries by 64.7% and inference time by 58.2%, demonstrating its high precision and efficiency in safeguarding agents.