FinVault : Évaluation de la Sécurité des Agents Financiers dans des Environnements à Ancrage Exécutoire
FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments
January 9, 2026
Auteurs: Zhi Yang, Runguo Li, Qiqi Qiang, Jiashun Wang, Fangqi Lou, Mengping Li, Dongpo Cheng, Rui Xu, Heng Lian, Shuo Zhang, Xiaolong Liang, Xiaoming Huang, Zheng Wei, Zhaowei Liu, Xin Guo, Huacan Wang, Ronghao Chen, Liwen Zhang
cs.AI
Résumé
Les agents financiers alimentés par de grands modèles de langage (LLM) sont de plus en plus déployés pour l'analyse d'investissement, l'évaluation des risques et la prise de décision automatisée, où leurs capacités à planifier, invoquer des outils et manipuler un état mutable introduisent de nouveaux risques de sécurité dans des environnements financiers à haut risque et fortement réglementés. Cependant, les évaluations de sécurité existantes se concentrent largement sur la conformité du contenu au niveau du modèle linguistique ou sur des configurations d'agents abstraites, ne parvenant pas à capturer les risques liés à l'exécution découlant des flux opérationnels réels et des actions modifiant l'état. Pour combler cette lacune, nous proposons FinVault, le premier benchmark de sécurité ancré dans l'exécution pour les agents financiers, comprenant 31 scénarios en bac à sable pilotés par des cas réglementaires avec des bases de données accessibles en écriture et des contraintes explicites de conformité, ainsi que 107 vulnérabilités réelles et 963 cas de test couvrant systématiquement l'injection de prompt, le jailbreaking, les attaques adaptées au domaine financier, ainsi que des entrées bénignes pour l'évaluation des faux positifs. Les résultats expérimentaux révèlent que les mécanismes de défense existants restent inefficaces dans des configurations réalistes d'agents financiers, avec des taux de réussite d'attaque (ASR) moyens atteignant encore 50,0% sur les modèles les plus avancés et restant non négligeables même pour les systèmes les plus robustes (ASR 6,7%), soulignant la transférabilité limitée des conceptions de sécurité actuelles et la nécessité de défenses plus solides spécifiques au secteur financier. Notre code est disponible à l'adresse https://github.com/aifinlab/FinVault.
English
Financial agents powered by large language models (LLMs) are increasingly deployed for investment analysis, risk assessment, and automated decision-making, where their abilities to plan, invoke tools, and manipulate mutable state introduce new security risks in high-stakes and highly regulated financial environments. However, existing safety evaluations largely focus on language-model-level content compliance or abstract agent settings, failing to capture execution-grounded risks arising from real operational workflows and state-changing actions. To bridge this gap, we propose FinVault, the first execution-grounded security benchmark for financial agents, comprising 31 regulatory case-driven sandbox scenarios with state-writable databases and explicit compliance constraints, together with 107 real-world vulnerabilities and 963 test cases that systematically cover prompt injection, jailbreaking, financially adapted attacks, as well as benign inputs for false-positive evaluation. Experimental results reveal that existing defense mechanisms remain ineffective in realistic financial agent settings, with average attack success rates (ASR) still reaching up to 50.0\% on state-of-the-art models and remaining non-negligible even for the most robust systems (ASR 6.7\%), highlighting the limited transferability of current safety designs and the need for stronger financial-specific defenses. Our code can be found at https://github.com/aifinlab/FinVault.