M^3FinMeeting: Un Dataset di Valutazione Multilingue, Multi-Settoriale e Multi-Task per la Comprensione di Riunioni Finanziarie

M^3FinMeeting: A Multilingual, Multi-Sector, and Multi-Task Financial Meeting Understanding Evaluation Dataset

June 3, 2025

Autori: Jie Zhu, Junhui Li, Yalong Wen, Xiandong Li, Lifan Guo, Feng Chen

cs.AI

Abstract

I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) hanno portato allo sviluppo di nuovi benchmark per valutare le loro prestazioni nel dominio finanziario. Tuttavia, gli attuali benchmark finanziari si basano spesso su articoli di notizie, rapporti sugli utili o annunci, rendendo difficile catturare le dinamiche reali delle riunioni finanziarie. Per colmare questa lacuna, proponiamo un nuovo benchmark chiamato M^3FinMeeting, un dataset multilingue, multisettoriale e multi-task progettato per la comprensione delle riunioni finanziarie. In primo luogo, M^3FinMeeting supporta inglese, cinese e giapponese, migliorando la comprensione delle discussioni finanziarie in contesti linguistici diversi. In secondo luogo, copre vari settori industriali definiti dallo Standard di Classificazione Globale dell'Industria (GICS), garantendo che il benchmark abbracci un'ampia gamma di attività finanziarie. Infine, M^3FinMeeting include tre task: riassunto, estrazione di coppie domanda-risposta (QA) e risposta alle domande, facilitando una valutazione più realistica e completa della comprensione. I risultati sperimentali con sette popolari LLM rivelano che anche i modelli più avanzati con contesto lungo hanno un margine di miglioramento significativo, dimostrando l'efficacia di M^3FinMeeting come benchmark per valutare le capacità di comprensione delle riunioni finanziarie da parte degli LLM.

English

Recent breakthroughs in large language models (LLMs) have led to the development of new benchmarks for evaluating their performance in the financial domain. However, current financial benchmarks often rely on news articles, earnings reports, or announcements, making it challenging to capture the real-world dynamics of financial meetings. To address this gap, we propose a novel benchmark called M^3FinMeeting, which is a multilingual, multi-sector, and multi-task dataset designed for financial meeting understanding. First, M^3FinMeeting supports English, Chinese, and Japanese, enhancing comprehension of financial discussions in diverse linguistic contexts. Second, it encompasses various industry sectors defined by the Global Industry Classification Standard (GICS), ensuring that the benchmark spans a broad range of financial activities. Finally, M^3FinMeeting includes three tasks: summarization, question-answer (QA) pair extraction, and question answering, facilitating a more realistic and comprehensive evaluation of understanding. Experimental results with seven popular LLMs reveal that even the most advanced long-context models have significant room for improvement, demonstrating the effectiveness of M^3FinMeeting as a benchmark for assessing LLMs' financial meeting comprehension skills.