ShieldAgent: Защита агентов с помощью верифицируемого анализа политик безопасности

ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning

March 26, 2025

Авторы: Zhaorun Chen, Mintong Kang, Bo Li

cs.AI

Аннотация

Автономные агенты, основанные на фундаментальных моделях, получили широкое распространение в различных реальных приложениях. Однако они остаются крайне уязвимыми к вредоносным инструкциям и атакам, что может привести к серьезным последствиям, таким как утечки конфиденциальной информации и финансовые потери. Более того, существующие защитные механизмы для крупных языковых моделей (LLM) неприменимы из-за сложной и динамичной природы агентов. Для решения этих проблем мы предлагаем ShieldAgent — первый защитный агент, предназначенный для обеспечения соблюдения явных политик безопасности в траекториях действий других защищаемых агентов с помощью логического анализа. В частности, ShieldAgent сначала строит модель политики безопасности, извлекая проверяемые правила из документов политик и структурируя их в набор вероятностных правил, основанных на действиях. Получив траекторию действий защищаемого агента, ShieldAgent извлекает соответствующие правила и формирует план защиты, используя свою обширную библиотеку инструментов и исполняемый код для формальной верификации. Кроме того, учитывая отсутствие эталонных тестов для защитных механизмов агентов, мы представляем ShieldAgent-Bench — набор данных, содержащий 3 тыс. пар инструкций и траекторий действий, связанных с безопасностью, собранных с помощью современных атак в 6 веб-средах и 7 категориях рисков. Эксперименты показывают, что ShieldAgent достигает наилучших результатов на ShieldAgent-Bench и трех существующих эталонных тестах, превосходя предыдущие методы в среднем на 11,3% с высоким показателем полноты 90,1%. Кроме того, ShieldAgent сокращает количество API-запросов на 64,7% и время вывода на 58,2%, демонстрируя высокую точность и эффективность в защите агентов.

English

Autonomous agents powered by foundation models have seen widespread adoption across various real-world applications. However, they remain highly vulnerable to malicious instructions and attacks, which can result in severe consequences such as privacy breaches and financial losses. More critically, existing guardrails for LLMs are not applicable due to the complex and dynamic nature of agents. To tackle these challenges, we propose ShieldAgent, the first guardrail agent designed to enforce explicit safety policy compliance for the action trajectory of other protected agents through logical reasoning. Specifically, ShieldAgent first constructs a safety policy model by extracting verifiable rules from policy documents and structuring them into a set of action-based probabilistic rule circuits. Given the action trajectory of the protected agent, ShieldAgent retrieves relevant rule circuits and generates a shielding plan, leveraging its comprehensive tool library and executable code for formal verification. In addition, given the lack of guardrail benchmarks for agents, we introduce ShieldAgent-Bench, a dataset with 3K safety-related pairs of agent instructions and action trajectories, collected via SOTA attacks across 6 web environments and 7 risk categories. Experiments show that ShieldAgent achieves SOTA on ShieldAgent-Bench and three existing benchmarks, outperforming prior methods by 11.3% on average with a high recall of 90.1%. Additionally, ShieldAgent reduces API queries by 64.7% and inference time by 58.2%, demonstrating its high precision and efficiency in safeguarding agents.