FinVault: Оценка безопасности финансовых агентов в средах с заземлением на исполнение

FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments

January 9, 2026

Авторы: Zhi Yang, Runguo Li, Qiqi Qiang, Jiashun Wang, Fangqi Lou, Mengping Li, Dongpo Cheng, Rui Xu, Heng Lian, Shuo Zhang, Xiaolong Liang, Xiaoming Huang, Zheng Wei, Zhaowei Liu, Xin Guo, Huacan Wang, Ronghao Chen, Liwen Zhang

cs.AI

Аннотация

Финансовые агенты на основе больших языковых моделей (LLM) все чаще применяются для инвестиционного анализа, оценки рисков и автоматизированного принятия решений, где их способности к планированию, вызову инструментов и манипуляции изменяемым состоянием создают новые угрозы безопасности в высокорисковых и строго регулируемых финансовых средах. Однако существующие оценки безопасности в основном сосредоточены на соответствию контента на уровне языковых моделей или абстрактных агентских настроек, не учитывая риски, возникающие при реальных рабочих процессах и действиях, изменяющих состояние. Для устранения этого пробела мы предлагаем FinVault — первый бенчмарк безопасности для финансовых агентов, основанный на исполнении, включающий 31 регуляторный сценарий в песочнице с базами данных для записи состояния и явными ограничениями соответствия, а также 107 реальных уязвимостей и 963 тестовых случая, систематически охватывающих инъекцию в промпты, джейлбрейкинг, финансово-адаптированные атаки, а также доброкачественные входные данные для оценки ложных срабатываний. Экспериментальные результаты показывают, что существующие механизмы защиты остаются неэффективными в реалистичных условиях работы финансовых агентов: средний процент успешных атак (ASR) достигает 50,0% для передовых моделей и остается значимым даже для самых robust-систем (ASR 6,7%), что подчеркивает ограниченную переносимость текущих решений безопасности и необходимость разработки более сильных финансово-ориентированных защит. Наш код доступен по адресу https://github.com/aifinlab/FinVault.

English

Financial agents powered by large language models (LLMs) are increasingly deployed for investment analysis, risk assessment, and automated decision-making, where their abilities to plan, invoke tools, and manipulate mutable state introduce new security risks in high-stakes and highly regulated financial environments. However, existing safety evaluations largely focus on language-model-level content compliance or abstract agent settings, failing to capture execution-grounded risks arising from real operational workflows and state-changing actions. To bridge this gap, we propose FinVault, the first execution-grounded security benchmark for financial agents, comprising 31 regulatory case-driven sandbox scenarios with state-writable databases and explicit compliance constraints, together with 107 real-world vulnerabilities and 963 test cases that systematically cover prompt injection, jailbreaking, financially adapted attacks, as well as benign inputs for false-positive evaluation. Experimental results reveal that existing defense mechanisms remain ineffective in realistic financial agent settings, with average attack success rates (ASR) still reaching up to 50.0\% on state-of-the-art models and remaining non-negligible even for the most robust systems (ASR 6.7\%), highlighting the limited transferability of current safety designs and the need for stronger financial-specific defenses. Our code can be found at https://github.com/aifinlab/FinVault.