OS-Harm : Un benchmark pour évaluer la sécurité des agents d'utilisation informatique

OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents

June 17, 2025

Auteurs: Thomas Kuntz, Agatha Duzan, Hao Zhao, Francesco Croce, Zico Kolter, Nicolas Flammarion, Maksym Andriushchenko

cs.AI

Résumé

Les agents d'utilisation informatique sont des agents basés sur des modèles de langage (LLM) capables d'interagir directement avec une interface utilisateur graphique, en traitant des captures d'écran ou des arbres d'accessibilité. Bien que ces systèmes gagnent en popularité, leur sécurité a été largement négligée, malgré le fait qu'évaluer et comprendre leur potentiel de comportements nuisibles soit essentiel pour une adoption généralisée. Pour combler cette lacune, nous présentons OS-Harm, un nouveau benchmark pour mesurer la sécurité des agents d'utilisation informatique. OS-Harm est construit sur l'environnement OSWorld et vise à tester les modèles dans trois catégories de risques : l'utilisation abusive délibérée par l'utilisateur, les attaques par injection de prompts et les comportements inappropriés des modèles. Pour couvrir ces cas, nous créons 150 tâches qui englobent plusieurs types de violations de sécurité (harcèlement, violation de droits d'auteur, désinformation, exfiltration de données, etc.) et nécessitent que l'agent interagisse avec diverses applications du système d'exploitation (client de messagerie, éditeur de code, navigateur, etc.). De plus, nous proposons un juge automatisé pour évaluer à la fois la précision et la sécurité des agents, atteignant un accord élevé avec les annotations humaines (scores F1 de 0,76 et 0,79). Nous évaluons les agents d'utilisation informatique basés sur une gamme de modèles de pointe - tels que o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - et fournissons des insights sur leur sécurité. En particulier, tous les modèles ont tendance à se conformer directement à de nombreuses requêtes d'utilisation abusive délibérée, sont relativement vulnérables aux injections de prompts statiques et effectuent occasionnellement des actions non sécurisées. Le benchmark OS-Harm est disponible à l'adresse https://github.com/tml-epfl/os-harm.

English

Computer use agents are LLM-based agents that can directly interact with a graphical user interface, by processing screenshots or accessibility trees. While these systems are gaining popularity, their safety has been largely overlooked, despite the fact that evaluating and understanding their potential for harmful behavior is essential for widespread adoption. To address this gap, we introduce OS-Harm, a new benchmark for measuring safety of computer use agents. OS-Harm is built on top of the OSWorld environment and aims to test models across three categories of harm: deliberate user misuse, prompt injection attacks, and model misbehavior. To cover these cases, we create 150 tasks that span several types of safety violations (harassment, copyright infringement, disinformation, data exfiltration, etc.) and require the agent to interact with a variety of OS applications (email client, code editor, browser, etc.). Moreover, we propose an automated judge to evaluate both accuracy and safety of agents that achieves high agreement with human annotations (0.76 and 0.79 F1 score). We evaluate computer use agents based on a range of frontier models - such as o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - and provide insights into their safety. In particular, all models tend to directly comply with many deliberate misuse queries, are relatively vulnerable to static prompt injections, and occasionally perform unsafe actions. The OS-Harm benchmark is available at https://github.com/tml-epfl/os-harm.