FinToolBench: Valutazione di Agenti LLM per l'Utilizzo di Strumenti Finanziari nel Mondo Reale
FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use
March 9, 2026
Autori: Jiaxuan Lu, Kong Wang, Yemin Wang, Qingmei Tang, Hongwei Zeng, Xiang Chen, Jiahao Pi, Shujian Deng, Lingzhi Chen, Yi Fu, Kehua Yang, Xiao Sun
cs.AI
Abstract
L'integrazione dei Large Language Model (LLM) nel settore finanziario sta guidando un cambiamento di paradigma, dal recupero passivo delle informazioni all'interazione dinamica e agentica. Sebbene l'apprendimento di strumenti generici abbia assistito a un'impennata di benchmark, il settore finanziario, caratterizzato da alti rischi, normative rigorose e rapida volatilità dei dati, rimane criticamente sottoservito. Le valutazioni finanziarie esistenti si concentrano prevalentemente sull'analisi testuale statica o su QA basato su documenti, ignorando la complessa realtà dell'esecuzione degli strumenti. Al contrario, i benchmark generici per strumenti mancano del rigore specifico del dominio richiesto per la finanza, basandosi spesso su ambienti simulativi o su un numero trascurabile di API finanziarie. Per colmare questa lacuna, introduciamo FinToolBench, il primo benchmark eseguibile e realistico dedicato alla valutazione di agenti per l'apprendimento di strumenti finanziari. A differenza di lavori precedenti limitati a una manciata di strumenti simulati, FinToolBench stabilisce un ecosistema realistico che accoppia 760 strumenti finanziari eseguibili con 295 query rigorose che richiedono l'uso di strumenti. Proponiamo una nuova framework di valutazione che va oltre il semplice successo/esito binario dell'esecuzione, valutando gli agenti su dimensioni critiche per la finanza: tempestività, tipo di intento e allineamento al dominio normativo. Inoltre, presentiamo FATR, una baseline per il retrieval e il ragionamento sugli strumenti consapevole del contesto finanziario, che migliora stabilità e conformità. Fornendo la prima piattaforma di test per l'esecuzione finanziaria agentica e verificabile, FinToolBench stabilisce un nuovo standard per l'IA affidabile nella finanza. Il manifesto degli strumenti, l'ambiente di esecuzione e il codice di valutazione saranno open-source per facilitare la ricerca futura.
English
The integration of Large Language Models (LLMs) into the financial domain is driving a paradigm shift from passive information retrieval to dynamic, agentic interaction. While general-purpose tool learning has witnessed a surge in benchmarks, the financial sector, characterized by high stakes, strict compliance, and rapid data volatility, remains critically underserved. Existing financial evaluations predominantly focus on static textual analysis or document-based QA, ignoring the complex reality of tool execution. Conversely, general tool benchmarks lack the domain-specific rigor required for finance, often relying on toy environments or a negligible number of financial APIs. To bridge this gap, we introduce FinToolBench, the first real-world, runnable benchmark dedicated to evaluating financial tool learning agents. Unlike prior works limited to a handful of mock tools, FinToolBench establishes a realistic ecosystem coupling 760 executable financial tools with 295 rigorous, tool-required queries. We propose a novel evaluation framework that goes beyond binary execution success, assessing agents on finance-critical dimensions: timeliness, intent type, and regulatory domain alignment. Furthermore, we present FATR, a finance-aware tool retrieval and reasoning baseline that enhances stability and compliance. By providing the first testbed for auditable, agentic financial execution, FinToolBench sets a new standard for trustworthy AI in finance. The tool manifest, execution environment, and evaluation code will be open-sourced to facilitate future research.