SafeArena : Évaluation de la sécurité des agents web autonomes

SafeArena: Evaluating the Safety of Autonomous Web Agents

March 6, 2025

Auteurs: Ada Defne Tur, Nicholas Meade, Xing Han Lù, Alejandra Zambrano, Arkil Patel, Esin Durmus, Spandana Gella, Karolina Stańczak, Siva Reddy

cs.AI

Résumé

Les agents basés sur LLM deviennent de plus en plus compétents pour résoudre des tâches sur le web. Avec cette capacité vient un risque accru de détournement à des fins malveillantes, comme publier de la désinformation sur un forum en ligne ou vendre des substances illicites sur un site web. Pour évaluer ces risques, nous proposons SafeArena, le premier benchmark axé sur l'utilisation délibérée abusive des agents web. SafeArena comprend 250 tâches sûres et 250 tâches nuisibles réparties sur quatre sites web. Nous classons les tâches nuisibles en cinq catégories de préjudice — désinformation, activité illégale, harcèlement, cybercriminalité et biais social — conçues pour évaluer les utilisations abusives réalistes des agents web. Nous évaluons les principaux agents web basés sur LLM, notamment GPT-4o, Claude-3.5 Sonnet, Qwen-2-VL 72B et Llama-3.2 90B, sur notre benchmark. Pour évaluer systématiquement leur vulnérabilité aux tâches nuisibles, nous introduisons le cadre d'évaluation des risques des agents (Agent Risk Assessment) qui catégorise le comportement des agents selon quatre niveaux de risque. Nous constatons que les agents sont étonnamment compliants face aux requêtes malveillantes, avec GPT-4o et Qwen-2 exécutant respectivement 34,7 % et 27,3 % des requêtes nuisibles. Nos résultats soulignent le besoin urgent de procédures d'alignement de sécurité pour les agents web. Notre benchmark est disponible ici : https://safearena.github.io

English

LLM-based agents are becoming increasingly proficient at solving web-based tasks. With this capability comes a greater risk of misuse for malicious purposes, such as posting misinformation in an online forum or selling illicit substances on a website. To evaluate these risks, we propose SafeArena, the first benchmark to focus on the deliberate misuse of web agents. SafeArena comprises 250 safe and 250 harmful tasks across four websites. We classify the harmful tasks into five harm categories -- misinformation, illegal activity, harassment, cybercrime, and social bias, designed to assess realistic misuses of web agents. We evaluate leading LLM-based web agents, including GPT-4o, Claude-3.5 Sonnet, Qwen-2-VL 72B, and Llama-3.2 90B, on our benchmark. To systematically assess their susceptibility to harmful tasks, we introduce the Agent Risk Assessment framework that categorizes agent behavior across four risk levels. We find agents are surprisingly compliant with malicious requests, with GPT-4o and Qwen-2 completing 34.7% and 27.3% of harmful requests, respectively. Our findings highlight the urgent need for safety alignment procedures for web agents. Our benchmark is available here: https://safearena.github.io