SABER : Évaluation comparative de la sécurité opérationnelle des agents de codage LLM dans des espaces de projet avec état

Résumé

Les grands modèles de langage sont de plus en plus déployés en tant qu'agents de codage, déplaçant la sécurité des réponses individuelles vers des séquences d'actions. Cependant, les référentiels existants évaluent principalement si les modèles refusent des invites dangereuses, laissant les impacts sur les espaces de travail avec état largement inexplorés. Nous présentons SABER, un référentiel pour la sécurité opérationnelle sensible à l'environnement qui place les modèles dans des projets réalistes de type agent et évalue la sécurité à partir de l'état final de l'environnement après une séquence d'actions. Au-delà des rapports binaires de violation de sécurité, SABER catégorise les violations par cause, permettant une analyse des profils de sécurité spécifiques aux modèles. Nos évaluations montrent que même le modèle le plus performant a un taux de violation de sécurité nuisible (HSR) supérieur à 54 %, suggérant que l'alignement actuel reste insuffisant pour des environnements de projet réalistes. SABER révèle en outre des profils de sécurité distincts entre les modèles. Notre référentiel est disponible publiquement à l'adresse https://github.com/sssr-lab/saber.

English

Large language models are increasingly deployed as coding agents, shifting safety from individual responses to action sequences. Existing benchmarks, however, primarily assess whether models refuse unsafe prompts, leaving impacts on stateful workspaces largely unexamined. We present SABER, a benchmark for environment-aware operational safety that places models in realistic agent-style projects and evaluates safety from the final environment state after a sequence of actions. Beyond binary safety-violation reports, SABER categorizes violations by cause, enabling analysis of model-specific safety profiles. Our evaluations show that even the best-performing model has more than a 54% harmful safety-violation rate (HSR), suggesting that current alignment remains insufficient for realistic project environments. SABER further reveals distinct safety profiles across models. Our benchmark is publicly available at https://github.com/sssr-lab/saber.