FinVault: Benchmarking der Sicherheit finanzieller Agenten in ausführungsbasierten Umgebungen
FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments
January 9, 2026
Autoren: Zhi Yang, Runguo Li, Qiqi Qiang, Jiashun Wang, Fangqi Lou, Mengping Li, Dongpo Cheng, Rui Xu, Heng Lian, Shuo Zhang, Xiaolong Liang, Xiaoming Huang, Zheng Wei, Zhaowei Liu, Xin Guo, Huacan Wang, Ronghao Chen, Liwen Zhang
cs.AI
Zusammenfassung
Finanzagenten, die auf großen Sprachmodellen (LLMs) basieren, werden zunehmend für Investitionsanalysen, Risikobewertungen und automatisierte Entscheidungsfindung eingesetzt. Dabei führen ihre Fähigkeiten zur Planung, zum Aufruf von Tools und zur Manipulation veränderbaren Zustands in hochriskanten und stark regulierten Finanzumgebungen zu neuen Sicherheitsrisiken. Bisher konzentrieren sich bestehende Sicherheitsbewertungen jedoch weitgehend auf die Inhaltskonformität auf Sprachebenenmodell oder abstrakte Agentenkonfigurationen und erfassen keine ausführungsbasierten Risiken, die aus realen operativen Workflows und zustandsändernden Aktionen entstehen. Um diese Lücke zu schließen, schlagen wir FinVault vor, den ersten ausführungsbasierten Sicherheitsbenchmark für Finanzagenten. Dieser umfasst 31 regulierungsfallgesteuerte Sandbox-Szenarien mit beschreibbaren Zustandsdatenbanken und expliziten Compliance-Anforderungen, zusammen mit 107 realen Schwachstellen und 963 Testfällen, die systematisch Prompt-Injection, Jailbreaking, finanziell angepasste Angriffe sowie harmlose Eingaben zur False-Positive-Bewertung abdecken. Experimentelle Ergebnisse zeigen, dass bestehende Abwehrmechanismen in realistischen Finanzagenten-Umgebungen weiterhin unwirksam bleiben: Die durchschnittliche Angriffserfolgsrate (ASR) erreicht bei modernsten Modellen bis zu 50,0 % und bleibt selbst für die robustesten Systeme (ASR 6,7 %) nicht vernachlässigbar. Dies unterstreicht die begrenzte Übertragbarkeit aktueller Sicherheitsentwürfe und die Notwendigkeit stärkerer finanzspezifischer Schutzmaßnahmen. Unser Code ist unter https://github.com/aifinlab/FinVault verfügbar.
English
Financial agents powered by large language models (LLMs) are increasingly deployed for investment analysis, risk assessment, and automated decision-making, where their abilities to plan, invoke tools, and manipulate mutable state introduce new security risks in high-stakes and highly regulated financial environments. However, existing safety evaluations largely focus on language-model-level content compliance or abstract agent settings, failing to capture execution-grounded risks arising from real operational workflows and state-changing actions. To bridge this gap, we propose FinVault, the first execution-grounded security benchmark for financial agents, comprising 31 regulatory case-driven sandbox scenarios with state-writable databases and explicit compliance constraints, together with 107 real-world vulnerabilities and 963 test cases that systematically cover prompt injection, jailbreaking, financially adapted attacks, as well as benign inputs for false-positive evaluation. Experimental results reveal that existing defense mechanisms remain ineffective in realistic financial agent settings, with average attack success rates (ASR) still reaching up to 50.0\% on state-of-the-art models and remaining non-negligible even for the most robust systems (ASR 6.7\%), highlighting the limited transferability of current safety designs and the need for stronger financial-specific defenses. Our code can be found at https://github.com/aifinlab/FinVault.