SABER: Benchmarken van operationele veiligheid van LLM-codeeragenten in stateful projectwerkruimten

Samenvatting

Grote taalmodellen worden steeds vaker ingezet als coderingsagenten, waardoor de veiligheid verschuift van individuele antwoorden naar actiereeksen. Bestaande benchmarks beoordelen echter voornamelijk of modellen onveilige prompts weigeren, waardoor de impact op toestandsafhankelijke werkomgevingen grotendeels onbestudeerd blijft. Wij presenteren SABER, een benchmark voor omgevingsbewuste operationele veiligheid die modellen in realistische agentstijlprojecten plaatst en de veiligheid evalueert op basis van de uiteindelijke omgevingstoestand na een reeks acties. Naast binaire meldingen van veiligheidsschendingen categorizeert SABER schendingen naar oorzaak, wat analyse van modelspecifieke veiligheidsprofielen mogelijk maakt. Onze evaluaties tonen aan dat zelfs het best presterende model een schadelijke veiligheidsschendingsratio (HSR) van meer dan 54% heeft, wat suggereert dat de huidige afstemming onvoldoende is voor realistische projectomgevingen. SABER onthult verder duidelijke veiligheidsprofielen tussen modellen. Onze benchmark is openbaar beschikbaar op https://github.com/sssr-lab/saber.

English

Large language models are increasingly deployed as coding agents, shifting safety from individual responses to action sequences. Existing benchmarks, however, primarily assess whether models refuse unsafe prompts, leaving impacts on stateful workspaces largely unexamined. We present SABER, a benchmark for environment-aware operational safety that places models in realistic agent-style projects and evaluates safety from the final environment state after a sequence of actions. Beyond binary safety-violation reports, SABER categorizes violations by cause, enabling analysis of model-specific safety profiles. Our evaluations show that even the best-performing model has more than a 54% harmful safety-violation rate (HSR), suggesting that current alignment remains insufficient for realistic project environments. SABER further reveals distinct safety profiles across models. Our benchmark is publicly available at https://github.com/sssr-lab/saber.