SABER: Benchmarking der Betriebssicherheit von LLM-Code-Agenten in zustandsbehafteten Projektarbeitsbereichen

Zusammenfassung

Große Sprachmodelle werden zunehmend als Code-Agenten eingesetzt, was die Sicherheit von einzelnen Antworten hin zu Aktionssequenzen verlagert. Bestehende Benchmarks bewerten jedoch hauptsächlich, ob Modelle unsichere Aufforderungen ablehnen, und lassen Auswirkungen auf zustandsbehaftete Arbeitsumgebungen weitgehend unberücksichtigt. Wir präsentieren SABER, einen Benchmark für umgebungsbewusste operative Sicherheit, der Modelle in realistische agentenartige Projekte versetzt und die Sicherheit anhand des finalen Umgebungszustands nach einer Aktionssequenz bewertet. Über binäre Sicherheitsverstoßberichte hinaus kategorisiert SABER Verstöße nach Ursache und ermöglicht so die Analyse modellspezifischer Sicherheitsprofile. Unsere Auswertungen zeigen, dass selbst das leistungsstärkste Modell eine schädliche Sicherheitsverstoßrate (HSR) von über 54 % aufweist, was darauf hindeutet, dass das aktuelle Alignment für realistische Projektumgebungen unzureichend bleibt. SABER offenbart zudem unterschiedliche Sicherheitsprofile über Modelle hinweg. Unser Benchmark ist öffentlich verfügbar unter https://github.com/sssr-lab/saber.

English

Large language models are increasingly deployed as coding agents, shifting safety from individual responses to action sequences. Existing benchmarks, however, primarily assess whether models refuse unsafe prompts, leaving impacts on stateful workspaces largely unexamined. We present SABER, a benchmark for environment-aware operational safety that places models in realistic agent-style projects and evaluates safety from the final environment state after a sequence of actions. Beyond binary safety-violation reports, SABER categorizes violations by cause, enabling analysis of model-specific safety profiles. Our evaluations show that even the best-performing model has more than a 54% harmful safety-violation rate (HSR), suggesting that current alignment remains insufficient for realistic project environments. SABER further reveals distinct safety profiles across models. Our benchmark is publicly available at https://github.com/sssr-lab/saber.