MultiFinBen: Un Benchmark Multilingue, Multimodale e Consapevole della Difficoltà per la Valutazione di LLM Finanziari

MultiFinBen: A Multilingual, Multimodal, and Difficulty-Aware Benchmark for Financial LLM Evaluation

June 16, 2025

Autori: Xueqing Peng, Lingfei Qian, Yan Wang, Ruoyu Xiang, Yueru He, Yang Ren, Mingyang Jiang, Jeff Zhao, Huan He, Yi Han, Yun Feng, Yuechen Jiang, Yupeng Cao, Haohang Li, Yangyang Yu, Xiaoyu Wang, Penglei Gao, Shengyuan Lin, Keyi Wang, Shanshan Yang, Yilun Zhao, Zhiwei Liu, Peng Lu, Jerry Huang, Suyuchen Wang, Triantafillos Papadopoulos, Polydoros Giannouris, Efstathia Soufleri, Nuo Chen, Guojun Xiong, Zhiyang Deng, Yijia Zhao, Mingquan Lin, Meikang Qiu, Kaleb E Smith, Arman Cohan, Xiao-Yang Liu, Jimin Huang, Alejandro Lopez-Lira, Xi Chen, Junichi Tsujii, Jian-Yun Nie, Sophia Ananiadou, Qianqian Xie

cs.AI

Abstract

I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) hanno accelerato lo sviluppo nel campo dell'NLP finanziario e delle sue applicazioni, tuttavia i benchmark esistenti rimangono limitati a contesti monolingue e unimodali, spesso basandosi eccessivamente su compiti semplici e non riuscendo a riflettere la complessità della comunicazione finanziaria nel mondo reale. Introduciamo MultiFinBen, il primo benchmark multilingue e multimodale progettato specificamente per il dominio finanziario globale, che valuta i LLM attraverso diverse modalità (testo, visione, audio) e contesti linguistici (monolingue, bilingue, multilingue) su compiti specifici del settore. Presentiamo due nuovi compiti, tra cui PolyFiQA-Easy e PolyFiQA-Expert, i primi benchmark finanziari multilingue che richiedono ai modelli di eseguire ragionamenti complessi su input in lingue miste; e EnglishOCR e SpanishOCR, i primi compiti di QA finanziaria con OCR integrati che sfidano i modelli a estrarre e ragionare su informazioni da documenti finanziari visivo-testuali. Inoltre, proponiamo un meccanismo di selezione dinamico e consapevole della difficoltà e curiamo un benchmark compatto e bilanciato, piuttosto che una semplice aggregazione di dataset esistenti. Una valutazione estensiva di 22 modelli all'avanguardia rivela che anche i modelli più potenti, nonostante le loro capacità generali multimodali e multilingue, incontrano notevoli difficoltà di fronte a compiti complessi cross-linguali e multimodali nel dominio finanziario. MultiFinBen è rilasciato pubblicamente per promuovere progressi trasparenti, riproducibili e inclusivi negli studi e nelle applicazioni finanziarie.

English

Recent advances in large language models (LLMs) have accelerated progress in financial NLP and applications, yet existing benchmarks remain limited to monolingual and unimodal settings, often over-relying on simple tasks and failing to reflect the complexity of real-world financial communication. We introduce MultiFinBen, the first multilingual and multimodal benchmark tailored to the global financial domain, evaluating LLMs across modalities (text, vision, audio) and linguistic settings (monolingual, bilingual, multilingual) on domain-specific tasks. We introduce two novel tasks, including PolyFiQA-Easy and PolyFiQA-Expert, the first multilingual financial benchmarks requiring models to perform complex reasoning over mixed-language inputs; and EnglishOCR and SpanishOCR, the first OCR-embedded financial QA tasks challenging models to extract and reason over information from visual-text financial documents. Moreover, we propose a dynamic, difficulty-aware selection mechanism and curate a compact, balanced benchmark rather than simple aggregation existing datasets. Extensive evaluation of 22 state-of-the-art models reveals that even the strongest models, despite their general multimodal and multilingual capabilities, struggle dramatically when faced with complex cross-lingual and multimodal tasks in financial domain. MultiFinBen is publicly released to foster transparent, reproducible, and inclusive progress in financial studies and applications.