FinToolBench: Bewertung von LLM-Agenten für den praktischen Einsatz von Finanzwerkzeugen
FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use
March 9, 2026
Autoren: Jiaxuan Lu, Kong Wang, Yemin Wang, Qingmei Tang, Hongwei Zeng, Xiang Chen, Jiahao Pi, Shujian Deng, Lingzhi Chen, Yi Fu, Kehua Yang, Xiao Sun
cs.AI
Zusammenfassung
Die Integration großer Sprachmodelle (LLM) in den Finanzbereich bewirkt einen Paradigmenwechsel von der passiven Informationsbeschaffung hin zu einer dynamischen, agentenbasierten Interaktion. Während das allgemeine Werkzeuglernen einen starken Zuwachs an Benchmarks verzeichnet, ist der Finanzsektor – geprägt durch hohe Risiken, strenge Compliance-Vorschriften und schnelle Datenvolatilität – nach wie vor kritisch unterversorgt. Bisherige finanzielle Evaluierungen konzentrieren sich überwiegend auf statische Textanalysen oder dokumentenbasierte Frage-Antwort-Systeme und ignorieren die komplexe Realität der Werkzeugausführung. Im Gegensatz dazu mangelt es allgemeinen Werkzeug-Benchmarks an der für die Finanzbranche erforderlichen domainspezifischen Strenge; sie basieren oft auf vereinfachten Testumgebungen oder einer vernachlässigbaren Anzahl finanzieller APIs. Um diese Lücke zu schließen, stellen wir FinToolBench vor, den ersten realen, ausführbaren Benchmark, der speziell für die Bewertung von Agenten zum Erlernen finanzieller Werkzeuge entwickelt wurde. Anders als frühere Arbeiten, die sich auf eine Handvoll simulierter Werkzeuge beschränken, etabliert FinToolBench ein realitätsnahes Ökosystem, das 760 ausführbare Finanzwerkzeuge mit 295 rigorosen, werkzeugbezogenen Abfragen koppelt. Wir schlagen ein neuartiges Evaluierungsframework vor, das über die bloße binäre Ausführungserfolgsmessung hinausgeht und Agenten anhand finanzspezifischer Dimensionen bewertet: Zeitlichkeit, Intent-Typ und Übereinstimmung mit regulatorischen Domänen. Darüber hinaus präsentieren wir FATR, eine finanzbewusste Baseline für Werkzeug-Retrieval und Reasoning, die Stabilität und Compliance verbessert. Indem FinToolBench die erste Testumgebung für auditfähige, agentenbasierte Finanztransaktionen bereitstellt, setzt es einen neuen Standard für vertrauenswürdige KI in der Finanzwelt. Das Werkzeugmanifest, die Ausführungsumgebung und der Evaluierungscode werden quelloffen gemacht, um zukünftige Forschung zu erleichtern.
English
The integration of Large Language Models (LLMs) into the financial domain is driving a paradigm shift from passive information retrieval to dynamic, agentic interaction. While general-purpose tool learning has witnessed a surge in benchmarks, the financial sector, characterized by high stakes, strict compliance, and rapid data volatility, remains critically underserved. Existing financial evaluations predominantly focus on static textual analysis or document-based QA, ignoring the complex reality of tool execution. Conversely, general tool benchmarks lack the domain-specific rigor required for finance, often relying on toy environments or a negligible number of financial APIs. To bridge this gap, we introduce FinToolBench, the first real-world, runnable benchmark dedicated to evaluating financial tool learning agents. Unlike prior works limited to a handful of mock tools, FinToolBench establishes a realistic ecosystem coupling 760 executable financial tools with 295 rigorous, tool-required queries. We propose a novel evaluation framework that goes beyond binary execution success, assessing agents on finance-critical dimensions: timeliness, intent type, and regulatory domain alignment. Furthermore, we present FATR, a finance-aware tool retrieval and reasoning baseline that enhances stability and compliance. By providing the first testbed for auditable, agentic financial execution, FinToolBench sets a new standard for trustworthy AI in finance. The tool manifest, execution environment, and evaluation code will be open-sourced to facilitate future research.