SABER: Evaluación comparativa de la seguridad operativa de agentes de codificación de LLM en espacios de trabajo de proyectos con estado.

Resumen

Los modelos de lenguaje de gran escala se implementan cada vez más como agentes de codificación, trasladando la seguridad de respuestas individuales a secuencias de acciones. Sin embargo, los benchmarks existentes evalúan principalmente si los modelos rechazan indicaciones inseguras, dejando en gran medida sin examinar los impactos en espacios de trabajo con estado. Presentamos SABER, un benchmark para la seguridad operativa consciente del entorno que sitúa a los modelos en proyectos realistas de estilo agente y evalúa la seguridad a partir del estado final del entorno tras una secuencia de acciones. Más allá de los informes binarios de violaciones de seguridad, SABER categoriza las violaciones por causa, permitiendo el análisis de perfiles de seguridad específicos de cada modelo. Nuestras evaluaciones muestran que incluso el modelo de mejor rendimiento tiene una tasa de violaciones de seguridad perjudiciales (HSR) superior al 54%, lo que sugiere que el alineamiento actual sigue siendo insuficiente para entornos de proyecto realistas. SABER revela además perfiles de seguridad distintos entre los modelos. Nuestro benchmark está disponible públicamente en https://github.com/sssr-lab/saber.

English

Large language models are increasingly deployed as coding agents, shifting safety from individual responses to action sequences. Existing benchmarks, however, primarily assess whether models refuse unsafe prompts, leaving impacts on stateful workspaces largely unexamined. We present SABER, a benchmark for environment-aware operational safety that places models in realistic agent-style projects and evaluates safety from the final environment state after a sequence of actions. Beyond binary safety-violation reports, SABER categorizes violations by cause, enabling analysis of model-specific safety profiles. Our evaluations show that even the best-performing model has more than a 54% harmful safety-violation rate (HSR), suggesting that current alignment remains insufficient for realistic project environments. SABER further reveals distinct safety profiles across models. Our benchmark is publicly available at https://github.com/sssr-lab/saber.