OS-Harm: Un Benchmark per la Misurazione della Sicurezza degli Agenti di Utilizzo del Computer

OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents

June 17, 2025

Autori: Thomas Kuntz, Agatha Duzan, Hao Zhao, Francesco Croce, Zico Kolter, Nicolas Flammarion, Maksym Andriushchenko

cs.AI

Abstract

Gli agenti di utilizzo del computer sono agenti basati su LLM in grado di interagire direttamente con un'interfaccia utente grafica, elaborando screenshot o alberi di accessibilità. Sebbene questi sistemi stiano guadagnando popolarità, la loro sicurezza è stata ampiamente trascurata, nonostante sia essenziale valutare e comprendere il loro potenziale di comportamenti dannosi per una diffusione su larga scala. Per colmare questa lacuna, introduciamo OS-Harm, un nuovo benchmark per misurare la sicurezza degli agenti di utilizzo del computer. OS-Harm è costruito sull'ambiente OSWorld e mira a testare i modelli in tre categorie di danni: uso improprio deliberato da parte dell'utente, attacchi di prompt injection e comportamenti errati del modello. Per coprire questi casi, abbiamo creato 150 attività che abbracciano diversi tipi di violazioni della sicurezza (molestie, violazione del copyright, disinformazione, esfiltrazione di dati, ecc.) e richiedono all'agente di interagire con una varietà di applicazioni del sistema operativo (client di posta elettronica, editor di codice, browser, ecc.). Inoltre, proponiamo un giudice automatizzato per valutare sia l'accuratezza che la sicurezza degli agenti, che raggiunge un elevato accordo con le annotazioni umane (punteggio F1 di 0,76 e 0,79). Valutiamo gli agenti di utilizzo del computer basandoci su una gamma di modelli all'avanguardia - come o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - e forniamo approfondimenti sulla loro sicurezza. In particolare, tutti i modelli tendono a conformarsi direttamente a molte richieste di uso improprio deliberato, sono relativamente vulnerabili agli attacchi di prompt injection statici e occasionalmente eseguono azioni non sicure. Il benchmark OS-Harm è disponibile all'indirizzo https://github.com/tml-epfl/os-harm.

English

Computer use agents are LLM-based agents that can directly interact with a graphical user interface, by processing screenshots or accessibility trees. While these systems are gaining popularity, their safety has been largely overlooked, despite the fact that evaluating and understanding their potential for harmful behavior is essential for widespread adoption. To address this gap, we introduce OS-Harm, a new benchmark for measuring safety of computer use agents. OS-Harm is built on top of the OSWorld environment and aims to test models across three categories of harm: deliberate user misuse, prompt injection attacks, and model misbehavior. To cover these cases, we create 150 tasks that span several types of safety violations (harassment, copyright infringement, disinformation, data exfiltration, etc.) and require the agent to interact with a variety of OS applications (email client, code editor, browser, etc.). Moreover, we propose an automated judge to evaluate both accuracy and safety of agents that achieves high agreement with human annotations (0.76 and 0.79 F1 score). We evaluate computer use agents based on a range of frontier models - such as o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - and provide insights into their safety. In particular, all models tend to directly comply with many deliberate misuse queries, are relatively vulnerable to static prompt injections, and occasionally perform unsafe actions. The OS-Harm benchmark is available at https://github.com/tml-epfl/os-harm.