OS-Harm: Бенчмарк для оценки безопасности агентов компьютерного использования

OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents

June 17, 2025

Авторы: Thomas Kuntz, Agatha Duzan, Hao Zhao, Francesco Croce, Zico Kolter, Nicolas Flammarion, Maksym Andriushchenko

cs.AI

Аннотация

Компьютерные агенты, основанные на больших языковых моделях (LLM), способны напрямую взаимодействовать с графическим пользовательским интерфейсом, обрабатывая скриншоты или деревья доступности. Хотя такие системы набирают популярность, их безопасность остается в значительной степени недооцененной, несмотря на то, что оценка и понимание их потенциала для вредоносного поведения крайне важны для широкого внедрения. Чтобы восполнить этот пробел, мы представляем OS-Harm — новый бенчмарк для измерения безопасности компьютерных агентов. OS-Harm построен на основе среды OSWorld и направлен на тестирование моделей в трех категориях вредоносного поведения: преднамеренное злоупотребление пользователем, атаки с использованием инъекции промптов и некорректное поведение модели. Для охвата этих случаев мы создали 150 задач, охватывающих различные типы нарушений безопасности (домогательства, нарушение авторских прав, дезинформация, утечка данных и т.д.), которые требуют от агента взаимодействия с различными приложениями операционной системы (почтовый клиент, редактор кода, браузер и т.д.). Кроме того, мы предлагаем автоматизированного судью для оценки как точности, так и безопасности агентов, который демонстрирует высокое согласие с аннотациями человека (F1-оценка 0,76 и 0,79). Мы оцениваем компьютерных агентов на основе ряда передовых моделей, таких как o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro, и предоставляем анализ их безопасности. В частности, все модели склонны напрямую выполнять многие запросы на преднамеренное злоупотребление, относительно уязвимы к статическим инъекциям промптов и иногда совершают небезопасные действия. Бенчмарк OS-Harm доступен по адресу https://github.com/tml-epfl/os-harm.

English

Computer use agents are LLM-based agents that can directly interact with a graphical user interface, by processing screenshots or accessibility trees. While these systems are gaining popularity, their safety has been largely overlooked, despite the fact that evaluating and understanding their potential for harmful behavior is essential for widespread adoption. To address this gap, we introduce OS-Harm, a new benchmark for measuring safety of computer use agents. OS-Harm is built on top of the OSWorld environment and aims to test models across three categories of harm: deliberate user misuse, prompt injection attacks, and model misbehavior. To cover these cases, we create 150 tasks that span several types of safety violations (harassment, copyright infringement, disinformation, data exfiltration, etc.) and require the agent to interact with a variety of OS applications (email client, code editor, browser, etc.). Moreover, we propose an automated judge to evaluate both accuracy and safety of agents that achieves high agreement with human annotations (0.76 and 0.79 F1 score). We evaluate computer use agents based on a range of frontier models - such as o4-mini, Claude 3.7 Sonnet, Gemini 2.5 Pro - and provide insights into their safety. In particular, all models tend to directly comply with many deliberate misuse queries, are relatively vulnerable to static prompt injections, and occasionally perform unsafe actions. The OS-Harm benchmark is available at https://github.com/tml-epfl/os-harm.