Sicherheitstests für LLM-Agenten im großen Maßstab: Von der Risikoentdeckung zur evidenzbasierten Verifikation

Zusammenfassung

LLM-Agenten führen zunehmend autonome Aktionen über externe Werkzeuge aus, was zu komplexen und sich ständig weiterentwickelnden Sicherheitsrisiken führt. Bestehende Sicherheitstests zielen jedoch auf von Experten entworfene Sicherheitsverstöße ab, und die entsprechenden Ergebnisse werden durch hartcodierte Regeln bewertet, was eine kostspielige Erweiterung mit sich bringt, wenn sich Agenten weiterentwickeln. Aus diesem Grund stellen wir Vera vor, ein End-to-End-Framework für automatisierte Sicherheitstests, das Prinzipien des Software-Engineerings für nicht-deterministische Agenten durch eine dreistufige, selbstverstärkende Pipeline umsetzt. Zunächst identifiziert und strukturiert eine literaturgestützte Exploration kontinuierlich neu auftretende Risiken in Taxonomien von Sicherheitsrisiken, Angriffsmethoden und Werkzeugausführungsumgebungen. Zweitens erzeugt die kombinatorische Zusammensetzung über Taxonomiedimensionen hinweg ausführbare Sicherheitsfälle, die jeweils ein konkretes Sicherheitsziel, einen programmatisch konstruierten Anfangszustand und ein deterministisches Verifikationsprädikat spezifizieren, das auf beobachtbaren Artefakten basiert. Drittens führt die adaptive Ausführung heterogene Agenten in isolierten Sandboxen aus, wobei ein Kontrollagent die mehrschrittige Interaktion auf der Grundlage von Laufzeitbeobachtungen steuert, während evidenzbasierte Verifikatoren Ergebnisse anhand des Umgebungszustands und von Werkzeugaufrufbelegen beurteilen, anstatt auf die Selbstauskunft des Modells zurückzugreifen. Wir evaluieren Vera an vier produktionsreifen Agentenframeworks (OpenClaw, Hermes, Codex, Claude Code) und decken erhebliche Sicherheitsschwächen auf, wobei die durchschnittlichen Angriffserfolgsraten bei Mehrkanalangriffen 93,9 % erreichen. Darüber hinaus veröffentlichen wir Vera-Bench, bestehend aus 1600 ausführbaren Sicherheitsfällen, die 124 Risikokategorien in drei Ausführungsumgebungen abdecken. Diese Ergebnisse zeigen, dass eine modulare, ausführbare Testinfrastruktur für eine rigorose und wartbare Sicherheitsbewertung sich schnell entwickelnder agentischer Systeme in großem Maßstab unerlässlich ist. Der Code ist öffentlich verfügbar unter https://github.com/Yunhao-Feng/Vera.

English

LLM agents increasingly perform autonomous actions through external tools, leading to complex and evolving safety risks. However, existing safety testing targets expert-designed safety violations, and the corresponding outcomes are evaluated by hard-coded rules, making them costly to extend as agents evolve. To this end, we present Vera, an end-to-end automated safety testing framework that instantiates software engineering testing principles for non-deterministic agents through a three-stage, self-reinforcing pipeline. First, a literature-driven exploration continuously discovers and structures emerging risks into taxonomies of safety risks, attack methods, and tool execution environments. Second, combinatorial composition across taxonomy dimensions produces executable safety cases, each specifying a concrete safety goal, a programmatically constructed initial state, and a deterministic verification predicate grounded in observable artifacts. Third, adaptive execution runs heterogeneous agents in isolated sandboxes where a control agent steers multi-turn interaction based on runtime observations, while evidence-grounded verifiers judge outcomes from environment state and tool-call evidence rather than model self-report. We evaluate Vera on four production agent frameworks (OpenClaw, Hermes, Codex, Claude Code), revealing substantial safety weaknesses, with average attack success rates reaching 93.9\% under multi-channel attacks; we also release Vera-Bench, comprising 1600 executable safety cases spanning 124 risk categories across three execution settings. These results indicate that modular, executable testing infrastructure is essential for rigorous and maintainable safety evaluation of rapidly evolving agentic systems at scale. The code is publicly available at https://github.com/Yunhao-Feng/Vera.