SafeArena: Valutazione della Sicurezza degli Agenti Web Autonomi

SafeArena: Evaluating the Safety of Autonomous Web Agents

March 6, 2025

Autori: Ada Defne Tur, Nicholas Meade, Xing Han Lù, Alejandra Zambrano, Arkil Patel, Esin Durmus, Spandana Gella, Karolina Stańczak, Siva Reddy

cs.AI

Abstract

Gli agenti basati su LLM stanno diventando sempre più abili nel risolvere attività basate sul web. Con questa capacità aumenta il rischio di un loro utilizzo improprio per scopi malevoli, come la pubblicazione di disinformazione in un forum online o la vendita di sostanze illecite su un sito web. Per valutare questi rischi, proponiamo SafeArena, il primo benchmark focalizzato sull'uso deliberato improprio degli agenti web. SafeArena comprende 250 attività sicure e 250 dannose distribuite su quattro siti web. Classifichiamo le attività dannose in cinque categorie di danno: disinformazione, attività illegali, molestie, cybercrimine e pregiudizi sociali, progettate per valutare usi impropri realistici degli agenti web. Valutiamo i principali agenti web basati su LLM, tra cui GPT-4o, Claude-3.5 Sonnet, Qwen-2-VL 72B e Llama-3.2 90B, sul nostro benchmark. Per valutare sistematicamente la loro suscettibilità alle attività dannose, introduciamo il framework di Valutazione del Rischio degli Agenti, che categorizza il comportamento degli agenti in quattro livelli di rischio. Scopriamo che gli agenti sono sorprendentemente propensi a soddisfare richieste malevole, con GPT-4o e Qwen-2 che completano rispettivamente il 34,7% e il 27,3% delle richieste dannose. I nostri risultati evidenziano l'urgente necessità di procedure di allineamento alla sicurezza per gli agenti web. Il nostro benchmark è disponibile qui: https://safearena.github.io

English

LLM-based agents are becoming increasingly proficient at solving web-based tasks. With this capability comes a greater risk of misuse for malicious purposes, such as posting misinformation in an online forum or selling illicit substances on a website. To evaluate these risks, we propose SafeArena, the first benchmark to focus on the deliberate misuse of web agents. SafeArena comprises 250 safe and 250 harmful tasks across four websites. We classify the harmful tasks into five harm categories -- misinformation, illegal activity, harassment, cybercrime, and social bias, designed to assess realistic misuses of web agents. We evaluate leading LLM-based web agents, including GPT-4o, Claude-3.5 Sonnet, Qwen-2-VL 72B, and Llama-3.2 90B, on our benchmark. To systematically assess their susceptibility to harmful tasks, we introduce the Agent Risk Assessment framework that categorizes agent behavior across four risk levels. We find agents are surprisingly compliant with malicious requests, with GPT-4o and Qwen-2 completing 34.7% and 27.3% of harmful requests, respectively. Our findings highlight the urgent need for safety alignment procedures for web agents. Our benchmark is available here: https://safearena.github.io