FinVault: Benchmarking della Sicurezza degli Agenti Finanziari in Ambienti a Base Esecutiva
FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments
January 9, 2026
Autori: Zhi Yang, Runguo Li, Qiqi Qiang, Jiashun Wang, Fangqi Lou, Mengping Li, Dongpo Cheng, Rui Xu, Heng Lian, Shuo Zhang, Xiaolong Liang, Xiaoming Huang, Zheng Wei, Zhaowei Liu, Xin Guo, Huacan Wang, Ronghao Chen, Liwen Zhang
cs.AI
Abstract
Gli agenti finanziari basati su grandi modelli linguistici (LLM) vengono sempre più impiegati per l'analisi degli investimenti, la valutazione del rischio e il processo decisionale automatizzato, dove le loro capacità di pianificare, richiamare strumenti e manipolare stati mutabili introducono nuovi rischi per la sicurezza in ambienti finanziari ad alto rischio e altamente regolamentati. Tuttavia, le valutazioni di sicurezza esistenti si concentrano principalmente sulla conformità dei contenuti a livello di modello linguistico o su impostazioni agenti astratte, non riuscendo a cogliere i rischi concreti derivanti dai flussi di lavoro operativi reali e dalle azioni che modificano lo stato. Per colmare questa lacuna, proponiamo FinVault, il primo benchmark di sicurezza ancorato all'esecuzione per agenti finanziari, comprendente 31 scenari sandbox guidati da casi normativi con database scrivibili e vincoli di conformità espliciti, insieme a 107 vulnerabilità del mondo reale e 963 casi di test che coprono sistematicamente prompt injection, jailbreaking, attacchi finanziari adattati, nonché input benigni per la valutazione dei falsi positivi. I risultati sperimentali rivelano che i meccanismi di difesa esistenti rimangono inefficaci nelle realistiche impostazioni degli agenti finanziari, con tassi medi di successo degli attacchi (ASR) che raggiungono ancora il 50,0% sui modelli più all'avanguardia e rimangono non trascurabili anche per i sistemi più robusti (ASR 6,7%), evidenziando la limitata trasferibilità delle attuali soluzioni di sicurezza e la necessità di difese più forti specifiche per il settore finanziario. Il nostro codice è disponibile all'indirizzo https://github.com/aifinlab/FinVault.
English
Financial agents powered by large language models (LLMs) are increasingly deployed for investment analysis, risk assessment, and automated decision-making, where their abilities to plan, invoke tools, and manipulate mutable state introduce new security risks in high-stakes and highly regulated financial environments. However, existing safety evaluations largely focus on language-model-level content compliance or abstract agent settings, failing to capture execution-grounded risks arising from real operational workflows and state-changing actions. To bridge this gap, we propose FinVault, the first execution-grounded security benchmark for financial agents, comprising 31 regulatory case-driven sandbox scenarios with state-writable databases and explicit compliance constraints, together with 107 real-world vulnerabilities and 963 test cases that systematically cover prompt injection, jailbreaking, financially adapted attacks, as well as benign inputs for false-positive evaluation. Experimental results reveal that existing defense mechanisms remain ineffective in realistic financial agent settings, with average attack success rates (ASR) still reaching up to 50.0\% on state-of-the-art models and remaining non-negligible even for the most robust systems (ASR 6.7\%), highlighting the limited transferability of current safety designs and the need for stronger financial-specific defenses. Our code can be found at https://github.com/aifinlab/FinVault.