FinMTEB: Benchmark per l'Embedding di Testo Massivo nel Settore Finanziario

FinMTEB: Finance Massive Text Embedding Benchmark

February 16, 2025

Autori: Yixuan Tang, Yi Yang

cs.AI

Abstract

I modelli di embedding svolgono un ruolo cruciale nella rappresentazione e nel recupero delle informazioni in varie applicazioni di NLP. I recenti progressi nei grandi modelli linguistici (LLM) hanno ulteriormente migliorato le prestazioni dei modelli di embedding. Sebbene questi modelli siano spesso valutati su dataset generici, le applicazioni nel mondo reale richiedono una valutazione specifica per dominio. In questo lavoro, introduciamo il Finance Massive Text Embedding Benchmark (FinMTEB), una controparte specializzata di MTEB progettata per il dominio finanziario. FinMTEB comprende 64 dataset di embedding specifici per il dominio finanziario, suddivisi in 7 task che coprono diversi tipi di testi in cinese e inglese, come articoli di notizie finanziarie, rapporti annuali aziendali, rapporti ESG, documenti normativi e trascrizioni di conferenze sugli utili. Abbiamo anche sviluppato un modello adattato al settore finanziario, FinPersona-E5, utilizzando un metodo sintetico basato su persona per coprire vari task di embedding finanziari durante l'addestramento. Attraverso una valutazione estensiva di 15 modelli di embedding, inclusi FinPersona-E5, abbiamo evidenziato tre risultati chiave: (1) le prestazioni su benchmark generici mostrano una correlazione limitata con i task specifici del dominio finanziario; (2) i modelli adattati al dominio superano costantemente le loro controparti generiche; e (3) sorprendentemente, un semplice approccio Bag-of-Words (BoW) supera gli embedding densi più sofisticati nei task di Similarità Semantica Testuale (STS) finanziari, evidenziando le attuali limitazioni delle tecniche di embedding denso. Il nostro lavoro stabilisce un solido framework di valutazione per le applicazioni NLP finanziarie e fornisce intuizioni cruciali per lo sviluppo di modelli di embedding specifici per dominio.

English

Embedding models play a crucial role in representing and retrieving information across various NLP applications. Recent advances in large language models (LLMs) have further enhanced the performance of embedding models. While these models are often benchmarked on general-purpose datasets, real-world applications demand domain-specific evaluation. In this work, we introduce the Finance Massive Text Embedding Benchmark (FinMTEB), a specialized counterpart to MTEB designed for the financial domain. FinMTEB comprises 64 financial domain-specific embedding datasets across 7 tasks that cover diverse textual types in both Chinese and English, such as financial news articles, corporate annual reports, ESG reports, regulatory filings, and earnings call transcripts. We also develop a finance-adapted model, FinPersona-E5, using a persona-based data synthetic method to cover diverse financial embedding tasks for training. Through extensive evaluation of 15 embedding models, including FinPersona-E5, we show three key findings: (1) performance on general-purpose benchmarks shows limited correlation with financial domain tasks; (2) domain-adapted models consistently outperform their general-purpose counterparts; and (3) surprisingly, a simple Bag-of-Words (BoW) approach outperforms sophisticated dense embeddings in financial Semantic Textual Similarity (STS) tasks, underscoring current limitations in dense embedding techniques. Our work establishes a robust evaluation framework for financial NLP applications and provides crucial insights for developing domain-specific embedding models.