Agent-SafetyBench: Het evalueren van de veiligheid van LLM-agenten

Agent-SafetyBench: Evaluating the Safety of LLM Agents

December 19, 2024

Auteurs: Zhexin Zhang, Shiyao Cui, Yida Lu, Jingzhuo Zhou, Junxiao Yang, Hongning Wang, Minlie Huang

cs.AI

Samenvatting

Naarmate grote taalmodellen (LLM's) steeds vaker worden ingezet als agenten, brengt hun integratie in interactieve omgevingen en gereedschapsgebruik nieuwe veiligheidsuitdagingen met zich mee die verder gaan dan die geassocieerd met de modellen zelf. Echter, het ontbreken van uitgebreide benchmarks voor het evalueren van de veiligheid van agenten vormt een aanzienlijke barrière voor effectieve beoordeling en verdere verbetering. In dit artikel introduceren we Agent-SafetyBench, een uitgebreide benchmark ontworpen om de veiligheid van LLM-agenten te evalueren. Agent-SafetyBench omvat 349 interactieomgevingen en 2.000 testgevallen, evalueert 8 categorieën van veiligheidsrisico's en behandelt 10 veelvoorkomende faalmodi die vaak voorkomen bij onveilige interacties. Onze evaluatie van 16 populaire LLM-agenten onthult een zorgwekkend resultaat: geen van de agenten behaalt een veiligheidsscore van boven de 60%. Dit benadrukt aanzienlijke veiligheidsuitdagingen bij LLM-agenten en onderstreept de aanzienlijke behoefte aan verbetering. Door middel van kwantitatieve analyse identificeren we kritieke faalmodi en vatten we twee fundamentele veiligheidslekken samen in huidige LLM-agenten: gebrek aan robuustheid en gebrek aan risicobewustzijn. Bovendien suggereren onze bevindingen dat vertrouwen op verdedigingsaanwijzingen alleen onvoldoende is om deze veiligheidsproblemen aan te pakken, waarbij de noodzaak van meer geavanceerde en robuuste strategieën wordt benadrukt. We stellen Agent-SafetyBench beschikbaar op https://github.com/thu-coai/Agent-SafetyBench om verder onderzoek en innovatie in de evaluatie en verbetering van agentveiligheid te vergemakkelijken.

English

As large language models (LLMs) are increasingly deployed as agents, their integration into interactive environments and tool use introduce new safety challenges beyond those associated with the models themselves. However, the absence of comprehensive benchmarks for evaluating agent safety presents a significant barrier to effective assessment and further improvement. In this paper, we introduce Agent-SafetyBench, a comprehensive benchmark designed to evaluate the safety of LLM agents. Agent-SafetyBench encompasses 349 interaction environments and 2,000 test cases, evaluating 8 categories of safety risks and covering 10 common failure modes frequently encountered in unsafe interactions. Our evaluation of 16 popular LLM agents reveals a concerning result: none of the agents achieves a safety score above 60%. This highlights significant safety challenges in LLM agents and underscores the considerable need for improvement. Through quantitative analysis, we identify critical failure modes and summarize two fundamental safety detects in current LLM agents: lack of robustness and lack of risk awareness. Furthermore, our findings suggest that reliance on defense prompts alone is insufficient to address these safety issues, emphasizing the need for more advanced and robust strategies. We release Agent-SafetyBench at https://github.com/thu-coai/Agent-SafetyBench to facilitate further research and innovation in agent safety evaluation and improvement.