M^3FinMeeting: Een meertalige, multi-sectorale en multi-task evaluatiedataset voor financieel vergaderbegrip

M^3FinMeeting: A Multilingual, Multi-Sector, and Multi-Task Financial Meeting Understanding Evaluation Dataset

June 3, 2025

Auteurs: Jie Zhu, Junhui Li, Yalong Wen, Xiandong Li, Lifan Guo, Feng Chen

cs.AI

Samenvatting

Recente doorbraken in grote taalmodellen (LLMs) hebben geleid tot de ontwikkeling van nieuwe benchmarks voor het evalueren van hun prestaties in het financiële domein. Huidige financiële benchmarks zijn echter vaak gebaseerd op nieuwsartikelen, winstrapporten of aankondigingen, waardoor het moeilijk is om de real-world dynamiek van financiële vergaderingen vast te leggen. Om deze kloof te overbruggen, stellen we een nieuwe benchmark voor genaamd M^3FinMeeting, een meertalige, multi-sector en multi-task dataset die is ontworpen voor het begrijpen van financiële vergaderingen. Ten eerste ondersteunt M^3FinMeeting Engels, Chinees en Japans, wat het begrip van financiële discussies in diverse taalkundige contexten verbetert. Ten tweede omvat het verschillende industriesectoren zoals gedefinieerd door de Global Industry Classification Standard (GICS), waardoor de benchmark een breed scala aan financiële activiteiten bestrijkt. Tot slot omvat M^3FinMeeting drie taken: samenvatting, extractie van vraag-antwoord (QA) paren en vraagbeantwoording, wat een realistischer en uitgebreidere evaluatie van het begrip mogelijk maakt. Experimentele resultaten met zeven populaire LLMs laten zien dat zelfs de meest geavanceerde lang-context modellen nog aanzienlijke ruimte voor verbetering hebben, wat de effectiviteit van M^3FinMeeting als benchmark voor het beoordelen van de financiële vergaderingsvaardigheden van LLMs aantoont.

English

Recent breakthroughs in large language models (LLMs) have led to the development of new benchmarks for evaluating their performance in the financial domain. However, current financial benchmarks often rely on news articles, earnings reports, or announcements, making it challenging to capture the real-world dynamics of financial meetings. To address this gap, we propose a novel benchmark called M^3FinMeeting, which is a multilingual, multi-sector, and multi-task dataset designed for financial meeting understanding. First, M^3FinMeeting supports English, Chinese, and Japanese, enhancing comprehension of financial discussions in diverse linguistic contexts. Second, it encompasses various industry sectors defined by the Global Industry Classification Standard (GICS), ensuring that the benchmark spans a broad range of financial activities. Finally, M^3FinMeeting includes three tasks: summarization, question-answer (QA) pair extraction, and question answering, facilitating a more realistic and comprehensive evaluation of understanding. Experimental results with seven popular LLMs reveal that even the most advanced long-context models have significant room for improvement, demonstrating the effectiveness of M^3FinMeeting as a benchmark for assessing LLMs' financial meeting comprehension skills.