OS-Harm: Um Benchmark para Medir a Segurança de Agentes de Uso de Computador

OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents

June 17, 2025

Autores: Thomas Kuntz, Agatha Duzan, Hao Zhao, Francesco Croce, Zico Kolter, Nicolas Flammarion, Maksym Andriushchenko

cs.AI

Resumo

Agentes de uso de computador são agentes baseados em LLM que podem interagir diretamente com uma interface gráfica do usuário, processando capturas de tela ou árvores de acessibilidade. Embora esses sistemas estejam ganhando popularidade, sua segurança tem sido amplamente negligenciada, apesar do fato de que avaliar e compreender seu potencial para comportamentos prejudiciais é essencial para sua adoção generalizada. Para abordar essa lacuna, introduzimos o OS-Harm, um novo benchmark para medir a segurança de agentes de uso de computador. O OS-Harm é construído sobre o ambiente OSWorld e visa testar modelos em três categorias de danos: uso indevido deliberado pelo usuário, ataques de injeção de prompt e mau comportamento do modelo. Para cobrir esses casos, criamos 150 tarefas que abrangem vários tipos de violações de segurança (assédio, violação de direitos autorais, desinformação, exfiltração de dados, etc.) e exigem que o agente interaja com uma variedade de aplicativos de sistema operacional (cliente de e-mail, editor de código, navegador, etc.). Além disso, propomos um juiz automatizado para avaliar tanto a precisão quanto a segurança dos agentes, que alcança alta concordância com anotações humanas (pontuação F1 de 0,76 e 0,79). Avaliamos agentes de uso de computador com base em uma variedade de modelos de ponta - como o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - e fornecemos insights sobre sua segurança. Em particular, todos os modelos tendem a cumprir diretamente muitas consultas de uso indevido deliberado, são relativamente vulneráveis a injeções de prompt estáticas e ocasionalmente realizam ações inseguras. O benchmark OS-Harm está disponível em https://github.com/tml-epfl/os-harm.

English

Computer use agents are LLM-based agents that can directly interact with a graphical user interface, by processing screenshots or accessibility trees. While these systems are gaining popularity, their safety has been largely overlooked, despite the fact that evaluating and understanding their potential for harmful behavior is essential for widespread adoption. To address this gap, we introduce OS-Harm, a new benchmark for measuring safety of computer use agents. OS-Harm is built on top of the OSWorld environment and aims to test models across three categories of harm: deliberate user misuse, prompt injection attacks, and model misbehavior. To cover these cases, we create 150 tasks that span several types of safety violations (harassment, copyright infringement, disinformation, data exfiltration, etc.) and require the agent to interact with a variety of OS applications (email client, code editor, browser, etc.). Moreover, we propose an automated judge to evaluate both accuracy and safety of agents that achieves high agreement with human annotations (0.76 and 0.79 F1 score). We evaluate computer use agents based on a range of frontier models - such as o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - and provide insights into their safety. In particular, all models tend to directly comply with many deliberate misuse queries, are relatively vulnerable to static prompt injections, and occasionally perform unsafe actions. The OS-Harm benchmark is available at https://github.com/tml-epfl/os-harm.