Agent-SafetyBench: Оценка безопасности агентов LLM

Agent-SafetyBench: Evaluating the Safety of LLM Agents

December 19, 2024

Авторы: Zhexin Zhang, Shiyao Cui, Yida Lu, Jingzhuo Zhou, Junxiao Yang, Hongning Wang, Minlie Huang

cs.AI

Аннотация

Поскольку большие языковые модели (LLM) все чаще применяются в качестве агентов, их интеграция в интерактивные среды и использование инструментов представляют новые проблемы безопасности, выходящие за рамки связанных с моделями самих по себе. Однако отсутствие всесторонних бенчмарков для оценки безопасности агентов является значительным препятствием для эффективной оценки и дальнейшего улучшения. В данной статье мы представляем Agent-SafetyBench, всесторонний бенчмарк, разработанный для оценки безопасности агентов LLM. Agent-SafetyBench включает в себя 349 сред с взаимодействием и 2 000 тестовых случаев, оценивая 8 категорий рисков безопасности и охватывая 10 общих режимов отказа, часто встречающихся в небезопасных взаимодействиях. Наша оценка 16 популярных агентов LLM показывает обеспокоительный результат: ни один из агентов не достигает оценки безопасности выше 60%. Это подчеркивает значительные проблемы безопасности в агентах LLM и подчеркивает значительную потребность в улучшениях. Через количественный анализ мы выявляем критические режимы отказа и обобщаем два основных дефекта безопасности в текущих агентах LLM: недостаток устойчивости и недостаток осведомленности о рисках. Более того, наши результаты показывают, что полагаться только на оборонительные подсказки недостаточно для решения этих проблем безопасности, что подчеркивает необходимость более продвинутых и надежных стратегий. Мы выпускаем Agent-SafetyBench на сайте https://github.com/thu-coai/Agent-SafetyBench для облегчения дальнейших исследований и инноваций в оценке и улучшении безопасности агентов.

English

As large language models (LLMs) are increasingly deployed as agents, their integration into interactive environments and tool use introduce new safety challenges beyond those associated with the models themselves. However, the absence of comprehensive benchmarks for evaluating agent safety presents a significant barrier to effective assessment and further improvement. In this paper, we introduce Agent-SafetyBench, a comprehensive benchmark designed to evaluate the safety of LLM agents. Agent-SafetyBench encompasses 349 interaction environments and 2,000 test cases, evaluating 8 categories of safety risks and covering 10 common failure modes frequently encountered in unsafe interactions. Our evaluation of 16 popular LLM agents reveals a concerning result: none of the agents achieves a safety score above 60%. This highlights significant safety challenges in LLM agents and underscores the considerable need for improvement. Through quantitative analysis, we identify critical failure modes and summarize two fundamental safety detects in current LLM agents: lack of robustness and lack of risk awareness. Furthermore, our findings suggest that reliance on defense prompts alone is insufficient to address these safety issues, emphasizing the need for more advanced and robust strategies. We release Agent-SafetyBench at https://github.com/thu-coai/Agent-SafetyBench to facilitate further research and innovation in agent safety evaluation and improvement.