Agente-SafetyBench: Evaluando la Seguridad de Agentes LLM

Agent-SafetyBench: Evaluating the Safety of LLM Agents

December 19, 2024

Autores: Zhexin Zhang, Shiyao Cui, Yida Lu, Jingzhuo Zhou, Junxiao Yang, Hongning Wang, Minlie Huang

cs.AI

Resumen

A medida que los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) se despliegan cada vez más como agentes, su integración en entornos interactivos y su uso de herramientas introducen nuevos desafíos de seguridad más allá de los asociados con los propios modelos. Sin embargo, la falta de benchmarks completos para evaluar la seguridad de los agentes representa una barrera significativa para una evaluación efectiva y una mejora adicional. En este artículo, presentamos Agent-SafetyBench, un benchmark integral diseñado para evaluar la seguridad de los agentes LLM. Agent-SafetyBench abarca 349 entornos de interacción y 2,000 casos de prueba, evaluando 8 categorías de riesgos de seguridad y cubriendo 10 modos de falla comunes que se encuentran con frecuencia en interacciones inseguras. Nuestra evaluación de 16 agentes LLM populares revela un resultado preocupante: ninguno de los agentes logra una puntuación de seguridad superior al 60%. Esto resalta desafíos significativos de seguridad en los agentes LLM y subraya la considerable necesidad de mejora. A través de un análisis cuantitativo, identificamos modos críticos de falla y resumimos dos detectores fundamentales de seguridad en los agentes LLM actuales: la falta de robustez y la falta de conciencia del riesgo. Además, nuestros hallazgos sugieren que depender únicamente de indicaciones defensivas es insuficiente para abordar estos problemas de seguridad, enfatizando la necesidad de estrategias más avanzadas y robustas. Publicamos Agent-SafetyBench en https://github.com/thu-coai/Agent-SafetyBench para facilitar una mayor investigación e innovación en la evaluación y mejora de la seguridad de los agentes.

English

As large language models (LLMs) are increasingly deployed as agents, their integration into interactive environments and tool use introduce new safety challenges beyond those associated with the models themselves. However, the absence of comprehensive benchmarks for evaluating agent safety presents a significant barrier to effective assessment and further improvement. In this paper, we introduce Agent-SafetyBench, a comprehensive benchmark designed to evaluate the safety of LLM agents. Agent-SafetyBench encompasses 349 interaction environments and 2,000 test cases, evaluating 8 categories of safety risks and covering 10 common failure modes frequently encountered in unsafe interactions. Our evaluation of 16 popular LLM agents reveals a concerning result: none of the agents achieves a safety score above 60%. This highlights significant safety challenges in LLM agents and underscores the considerable need for improvement. Through quantitative analysis, we identify critical failure modes and summarize two fundamental safety detects in current LLM agents: lack of robustness and lack of risk awareness. Furthermore, our findings suggest that reliance on defense prompts alone is insufficient to address these safety issues, emphasizing the need for more advanced and robust strategies. We release Agent-SafetyBench at https://github.com/thu-coai/Agent-SafetyBench to facilitate further research and innovation in agent safety evaluation and improvement.