SABER: Avaliação da Segurança Operacional de Agentes de Codificação LLM em Espaços de Trabalho de Projeto com Estado

Resumo

Grandes modelos de linguagem estão cada vez mais sendo implantados como agentes de codificação, deslocando a segurança de respostas individuais para sequências de ações. No entanto, os benchmarks existentes avaliam principalmente se os modelos recusam prompts inseguros, deixando os impactos em espaços de trabalho com estado em grande parte não examinados. Apresentamos o SABER, um benchmark para segurança operacional ciente do ambiente, que coloca os modelos em projetos realistas no estilo de agentes e avalia a segurança a partir do estado final do ambiente após uma sequência de ações. Além de relatórios binários de violação de segurança, o SABER categoriza as violações por causa, permitindo a análise de perfis de segurança específicos de cada modelo. Nossas avaliações mostram que mesmo o modelo com melhor desempenho apresenta mais de 54% de taxa de violação de segurança prejudicial (HSR), sugerindo que o alinhamento atual permanece insuficiente para ambientes de projetos realistas. O SABER revela ainda perfis de segurança distintos entre os modelos. Nosso benchmark está disponível publicamente em https://github.com/sssr-lab/saber.

English

Large language models are increasingly deployed as coding agents, shifting safety from individual responses to action sequences. Existing benchmarks, however, primarily assess whether models refuse unsafe prompts, leaving impacts on stateful workspaces largely unexamined. We present SABER, a benchmark for environment-aware operational safety that places models in realistic agent-style projects and evaluates safety from the final environment state after a sequence of actions. Beyond binary safety-violation reports, SABER categorizes violations by cause, enabling analysis of model-specific safety profiles. Our evaluations show that even the best-performing model has more than a 54% harmful safety-violation rate (HSR), suggesting that current alignment remains insufficient for realistic project environments. SABER further reveals distinct safety profiles across models. Our benchmark is publicly available at https://github.com/sssr-lab/saber.