FinToolBench : Évaluation des agents LLM pour l'utilisation d'outils financiers en conditions réelles
FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use
March 9, 2026
Auteurs: Jiaxuan Lu, Kong Wang, Yemin Wang, Qingmei Tang, Hongwei Zeng, Xiang Chen, Jiahao Pi, Shujian Deng, Lingzhi Chen, Yi Fu, Kehua Yang, Xiao Sun
cs.AI
Résumé
L'intégration des modèles de langage de grande taille (LLM) dans le domaine financier entraîne un changement de paradigme, passant d'une récupération passive de l'information à une interaction dynamique et agentique. Alors que l'apprentissage de l'utilisation d'outils à usage général a connu une explosion de benchmarks, le secteur financier, caractérisé par des enjeux élevés, une conformité stricte et une volatilité rapide des données, reste cruellement sous-desservi. Les évaluations financières existantes se concentrent principalement sur l'analyse textuelle statique ou les questions-réponses basées sur des documents, ignorant la réalité complexe de l'exécution des outils. À l'inverse, les benchmarks généraux d'outils manquent de la rigueur spécifique au domaine requise pour la finance, s'appuyant souvent sur des environnements simplistes ou un nombre négligeable d'API financières. Pour combler cette lacune, nous présentons FinToolBench, le premier benchmark exécutable en conditions réelles dédié à l'évaluation des agents d'apprentissage d'outils financiers. Contrairement aux travaux antérieurs limités à une poignée d'outils simulés, FinToolBench établit un écosystème réaliste couplant 760 outils financiers exécutables avec 295 requêtes rigoureuses nécessitant l'usage d'outils. Nous proposons un nouveau cadre d'évaluation qui va au-delà du simple succès binaire de l'exécution, en évaluant les agents sur des dimensions critiques pour la finance : la temporalité, le type d'intention et l'alignement sur le domaine réglementaire. De plus, nous présentons FATR, une base de référence pour la recherche d'outils et le raisonnement, sensible aux contraintes financières, qui améliore la stabilité et la conformité. En fournissant le premier banc d'essai pour une exécution financière agentique et vérifiable, FinToolBench établit une nouvelle norme pour l'IA digne de confiance en finance. Le manifeste des outils, l'environnement d'exécution et le code d'évaluation seront open-source pour faciliter la recherche future.
English
The integration of Large Language Models (LLMs) into the financial domain is driving a paradigm shift from passive information retrieval to dynamic, agentic interaction. While general-purpose tool learning has witnessed a surge in benchmarks, the financial sector, characterized by high stakes, strict compliance, and rapid data volatility, remains critically underserved. Existing financial evaluations predominantly focus on static textual analysis or document-based QA, ignoring the complex reality of tool execution. Conversely, general tool benchmarks lack the domain-specific rigor required for finance, often relying on toy environments or a negligible number of financial APIs. To bridge this gap, we introduce FinToolBench, the first real-world, runnable benchmark dedicated to evaluating financial tool learning agents. Unlike prior works limited to a handful of mock tools, FinToolBench establishes a realistic ecosystem coupling 760 executable financial tools with 295 rigorous, tool-required queries. We propose a novel evaluation framework that goes beyond binary execution success, assessing agents on finance-critical dimensions: timeliness, intent type, and regulatory domain alignment. Furthermore, we present FATR, a finance-aware tool retrieval and reasoning baseline that enhances stability and compliance. By providing the first testbed for auditable, agentic financial execution, FinToolBench sets a new standard for trustworthy AI in finance. The tool manifest, execution environment, and evaluation code will be open-sourced to facilitate future research.