MultiFinBen: Многоязычный, мультимодальный и учитывающий сложность эталонный тест для оценки финансовых языковых моделей
MultiFinBen: A Multilingual, Multimodal, and Difficulty-Aware Benchmark for Financial LLM Evaluation
June 16, 2025
Авторы: Xueqing Peng, Lingfei Qian, Yan Wang, Ruoyu Xiang, Yueru He, Yang Ren, Mingyang Jiang, Jeff Zhao, Huan He, Yi Han, Yun Feng, Yuechen Jiang, Yupeng Cao, Haohang Li, Yangyang Yu, Xiaoyu Wang, Penglei Gao, Shengyuan Lin, Keyi Wang, Shanshan Yang, Yilun Zhao, Zhiwei Liu, Peng Lu, Jerry Huang, Suyuchen Wang, Triantafillos Papadopoulos, Polydoros Giannouris, Efstathia Soufleri, Nuo Chen, Guojun Xiong, Zhiyang Deng, Yijia Zhao, Mingquan Lin, Meikang Qiu, Kaleb E Smith, Arman Cohan, Xiao-Yang Liu, Jimin Huang, Alejandro Lopez-Lira, Xi Chen, Junichi Tsujii, Jian-Yun Nie, Sophia Ananiadou, Qianqian Xie
cs.AI
Аннотация
Последние достижения в области больших языковых моделей (LLM) ускорили прогресс в финансовой обработке естественного языка (NLP) и приложениях, однако существующие бенчмарки остаются ограниченными одноязычными и одномодальными настройками, часто чрезмерно полагаясь на простые задачи и не отражая сложности реальной финансовой коммуникации. Мы представляем MultiFinBen, первый многоязычный и мультимодальный бенчмарк, адаптированный для глобальной финансовой сферы, который оценивает LLM по различным модальностям (текст, визуальные данные, аудио) и языковым настройкам (одноязычные, двуязычные, многоязычные) на задачах, специфичных для домена. Мы вводим две новые задачи: PolyFiQA-Easy и PolyFiQA-Expert — первые многоязычные финансовые бенчмарки, требующие от моделей выполнения сложных рассуждений на основе смешанных языковых входных данных; а также EnglishOCR и SpanishOCR — первые задачи финансового вопросно-ответного взаимодействия с встроенным OCR, которые проверяют способность моделей извлекать и анализировать информацию из визуально-текстовых финансовых документов. Кроме того, мы предлагаем динамический механизм выбора с учетом сложности и создаем компактный, сбалансированный бенчмарк, а не просто агрегируем существующие наборы данных. Обширная оценка 22 современных моделей показывает, что даже самые мощные модели, несмотря на их общие мультимодальные и многоязычные возможности, испытывают значительные трудности при выполнении сложных кросс-лингвистических и мультимодальных задач в финансовой сфере. MultiFinBen публично доступен для содействия прозрачному, воспроизводимому и инклюзивному прогрессу в финансовых исследованиях и приложениях.
English
Recent advances in large language models (LLMs) have accelerated progress in
financial NLP and applications, yet existing benchmarks remain limited to
monolingual and unimodal settings, often over-relying on simple tasks and
failing to reflect the complexity of real-world financial communication. We
introduce MultiFinBen, the first multilingual and multimodal benchmark tailored
to the global financial domain, evaluating LLMs across modalities (text,
vision, audio) and linguistic settings (monolingual, bilingual, multilingual)
on domain-specific tasks. We introduce two novel tasks, including PolyFiQA-Easy
and PolyFiQA-Expert, the first multilingual financial benchmarks requiring
models to perform complex reasoning over mixed-language inputs; and EnglishOCR
and SpanishOCR, the first OCR-embedded financial QA tasks challenging models to
extract and reason over information from visual-text financial documents.
Moreover, we propose a dynamic, difficulty-aware selection mechanism and curate
a compact, balanced benchmark rather than simple aggregation existing datasets.
Extensive evaluation of 22 state-of-the-art models reveals that even the
strongest models, despite their general multimodal and multilingual
capabilities, struggle dramatically when faced with complex cross-lingual and
multimodal tasks in financial domain. MultiFinBen is publicly released to
foster transparent, reproducible, and inclusive progress in financial studies
and applications.