SABER: Бенчмаркинг эксплуатационной безопасности кодовых агентов LLM в проектных рабочих пространствах с сохранением состояния

Аннотация

Большие языковые модели все чаще развертываются в качестве агентов кодирования, смещая акцент безопасности с отдельных ответов на последовательности действий. Однако существующие эталоны в основном оценивают, отказываются ли модели от опасных запросов, оставляя воздействие на состояние рабочих пространств в значительной степени неисследованным. Мы представляем SABER — эталон для операционной безопасности с учетом окружения, который помещает модели в реалистичные проекты в стиле агентов и оценивает безопасность на основе конечного состояния окружения после выполнения последовательности действий. Помимо бинарных отчетов о нарушениях безопасности, SABER классифицирует нарушения по причинам, что позволяет анализировать профили безопасности конкретных моделей. Наши оценки показывают, что даже у лучшей модели коэффициент вредоносных нарушений безопасности (HSR) превышает 54%, что указывает на недостаточность текущего согласования для реальных проектных сред. SABER также выявляет различные профили безопасности среди моделей. Наш эталон доступен по адресу: https://github.com/sssr-lab/saber.

English

Large language models are increasingly deployed as coding agents, shifting safety from individual responses to action sequences. Existing benchmarks, however, primarily assess whether models refuse unsafe prompts, leaving impacts on stateful workspaces largely unexamined. We present SABER, a benchmark for environment-aware operational safety that places models in realistic agent-style projects and evaluates safety from the final environment state after a sequence of actions. Beyond binary safety-violation reports, SABER categorizes violations by cause, enabling analysis of model-specific safety profiles. Our evaluations show that even the best-performing model has more than a 54% harmful safety-violation rate (HSR), suggesting that current alignment remains insufficient for realistic project environments. SABER further reveals distinct safety profiles across models. Our benchmark is publicly available at https://github.com/sssr-lab/saber.