Agent-SafetyBench: Evaluierung der Sicherheit von LLM-Agenten

Agent-SafetyBench: Evaluating the Safety of LLM Agents

December 19, 2024

Autoren: Zhexin Zhang, Shiyao Cui, Yida Lu, Jingzhuo Zhou, Junxiao Yang, Hongning Wang, Minlie Huang

cs.AI

Zusammenfassung

Mit dem zunehmenden Einsatz großer Sprachmodelle (LLMs) als Agenten ergeben sich durch ihre Integration in interaktive Umgebungen und Werkzeugnutzung neue Sicherheitsherausforderungen, die über die mit den Modellen selbst verbundenen hinausgehen. Allerdings stellt das Fehlen umfassender Benchmarks zur Bewertung der Agentensicherheit eine bedeutende Hürde für eine effektive Bewertung und weitere Verbesserung dar. In diesem Paper stellen wir Agent-SafetyBench vor, einen umfassenden Benchmark, der entwickelt wurde, um die Sicherheit von LLM-Agenten zu bewerten. Agent-SafetyBench umfasst 349 Interaktionsumgebungen und 2.000 Testfälle, bewertet 8 Kategorien von Sicherheitsrisiken und deckt 10 häufig auftretende Fehlermodi ab, die bei unsicheren Interaktionen häufig vorkommen. Unsere Bewertung von 16 beliebten LLM-Agenten zeigt ein besorgniserregendes Ergebnis: Keiner der Agenten erreicht einen Sicherheitswert von über 60%. Dies unterstreicht bedeutende Sicherheitsherausforderungen bei LLM-Agenten und verdeutlicht den erheblichen Bedarf an Verbesserungen. Durch quantitative Analyse identifizieren wir kritische Fehlermodi und fassen zwei grundlegende Sicherheitsdefizite in aktuellen LLM-Agenten zusammen: Mangelnde Robustheit und mangelndes Risikobewusstsein. Darüber hinaus legen unsere Ergebnisse nahe, dass alleiniges Vertrauen auf Verteidigungsanreize nicht ausreicht, um diese Sicherheitsprobleme anzugehen, was die Notwendigkeit fortschrittlicherer und robusterer Strategien betont. Wir veröffentlichen Agent-SafetyBench unter https://github.com/thu-coai/Agent-SafetyBench, um weitere Forschung und Innovationen in der Bewertung und Verbesserung der Agentensicherheit zu erleichtern.

English

As large language models (LLMs) are increasingly deployed as agents, their integration into interactive environments and tool use introduce new safety challenges beyond those associated with the models themselves. However, the absence of comprehensive benchmarks for evaluating agent safety presents a significant barrier to effective assessment and further improvement. In this paper, we introduce Agent-SafetyBench, a comprehensive benchmark designed to evaluate the safety of LLM agents. Agent-SafetyBench encompasses 349 interaction environments and 2,000 test cases, evaluating 8 categories of safety risks and covering 10 common failure modes frequently encountered in unsafe interactions. Our evaluation of 16 popular LLM agents reveals a concerning result: none of the agents achieves a safety score above 60%. This highlights significant safety challenges in LLM agents and underscores the considerable need for improvement. Through quantitative analysis, we identify critical failure modes and summarize two fundamental safety detects in current LLM agents: lack of robustness and lack of risk awareness. Furthermore, our findings suggest that reliance on defense prompts alone is insufficient to address these safety issues, emphasizing the need for more advanced and robust strategies. We release Agent-SafetyBench at https://github.com/thu-coai/Agent-SafetyBench to facilitate further research and innovation in agent safety evaluation and improvement.