AgentHazard: Бенчмарк для оценки вредоносного поведения агентов, работающих с компьютером

AgentHazard: A Benchmark for Evaluating Harmful Behavior in Computer-Use Agents

April 3, 2026

Авторы: Yunhao Feng, Yifan Ding, Yingshui Tan, Xingjun Ma, Yige Li, Yutao Wu, Yifeng Gao, Kun Zhai, Yanming Guo

cs.AI

Аннотация

Агенты компьютерного взаимодействия расширяют возможности языковых моделей от генерации текста до выполнения последовательных действий с инструментами, файлами и средами исполнения. В отличие от чат-систем, они сохраняют состояние между взаимодействиями и преобразуют промежуточные результаты в конкретные действия. Это создает особую проблему безопасности, поскольку вредоносное поведение может возникать в результате последовательности внешне правдоподобных шагов, включая промежуточные действия, которые выглядят допустимыми локально, но в совокупности приводят к несанкционированным операциям. Мы представляем AgentHazard — бенчмарк для оценки вредоносного поведения агентов компьютерного взаимодействия. AgentHazard содержит 2 653 тестовых примера, охватывающих различные категории рисков и стратегии атак. Каждый пример связывает вредоносную цель с последовательностью операционных шагов, которые локально легитимны, но совместно провоцируют небезопасное поведение. Бенчмарк оценивает, способны ли агенты распознавать и прерывать вред, возникающий из-за накопленного контекста, повторного использования инструментов, промежуточных действий и зависимостей между шагами. Мы тестируем AgentHazard на системах Claude Code, OpenClaw и IFlow, используя в основном открытые или публично развертываемые модели из семейств Qwen3, Kimi, GLM и DeepSeek. Наши экспериментальные результаты показывают, что современные системы остаются highly уязвимыми. В частности, при использовании модели Qwen3-Coder система Claude Code демонстрирует успешность атак в 73,63%, что свидетельствует: одной лишь согласованности (alignment) модели недостаточно для надежного обеспечения безопасности автономных агентов.

English

Computer-use agents extend language models from text generation to persistent action over tools, files, and execution environments. Unlike chat systems, they maintain state across interactions and translate intermediate outputs into concrete actions. This creates a distinct safety challenge in that harmful behavior may emerge through sequences of individually plausible steps, including intermediate actions that appear locally acceptable but collectively lead to unauthorized actions. We present AgentHazard, a benchmark for evaluating harmful behavior in computer-use agents. AgentHazard contains 2,653 instances spanning diverse risk categories and attack strategies. Each instance pairs a harmful objective with a sequence of operational steps that are locally legitimate but jointly induce unsafe behavior. The benchmark evaluates whether agents can recognize and interrupt harm arising from accumulated context, repeated tool use, intermediate actions, and dependencies across steps. We evaluate AgentHazard on Claude Code, OpenClaw, and IFlow using mostly open or openly deployable models from the Qwen3, Kimi, GLM, and DeepSeek families. Our experimental results indicate that current systems remain highly vulnerable. In particular, when powered by Qwen3-Coder, Claude Code exhibits an attack success rate of 73.63\%, suggesting that model alignment alone does not reliably guarantee the safety of autonomous agents.