FinMTEB: Financieel Massive Text Embedding Benchmark

FinMTEB: Finance Massive Text Embedding Benchmark

February 16, 2025

Auteurs: Yixuan Tang, Yi Yang

cs.AI

Samenvatting

Embeddingmodellen spelen een cruciale rol bij het representeren en ophalen van informatie in diverse NLP-toepassingen. Recente vooruitgang in grote taalmmodellen (LLM's) heeft de prestaties van embeddingmodellen verder verbeterd. Hoewel deze modellen vaak worden getoetst op algemene datasets, vereisen real-world toepassingen domeinspecifieke evaluatie. In dit werk introduceren we de Finance Massive Text Embedding Benchmark (FinMTEB), een gespecialiseerd tegenhanger van MTEB ontworpen voor het financiële domein. FinMTEB omvat 64 domeinspecifieke embeddingdatasets voor het financiële domein, verdeeld over 7 taken die diverse teksttypes in zowel Chinees als Engels bestrijken, zoals financiële nieuwsartikelen, jaarverslagen van bedrijven, ESG-rapporten, regelgevingsdocumenten en transcripties van winstpresentaties. We ontwikkelen ook een financieel aangepast model, FinPersona-E5, met behulp van een persona-gebaseerde synthetische datamethode om diverse financiële embeddingtaken voor training te dekken. Door uitgebreide evaluatie van 15 embeddingmodellen, waaronder FinPersona-E5, tonen we drie belangrijke bevindingen: (1) prestaties op algemene benchmarks vertonen een beperkte correlatie met financiële domeintaken; (2) domeinaangepaste modellen presteren consistent beter dan hun algemene tegenhangers; en (3) verrassend genoeg presteert een eenvoudige Bag-of-Words (BoW)-aanpak beter dan geavanceerde dense embeddings in financiële Semantic Textual Similarity (STS)-taken, wat de huidige beperkingen in dense embeddingtechnieken benadrukt. Ons werk stelt een robuust evaluatiekader vast voor financiële NLP-toepassingen en biedt cruciale inzichten voor de ontwikkeling van domeinspecifieke embeddingmodellen.

English

Embedding models play a crucial role in representing and retrieving information across various NLP applications. Recent advances in large language models (LLMs) have further enhanced the performance of embedding models. While these models are often benchmarked on general-purpose datasets, real-world applications demand domain-specific evaluation. In this work, we introduce the Finance Massive Text Embedding Benchmark (FinMTEB), a specialized counterpart to MTEB designed for the financial domain. FinMTEB comprises 64 financial domain-specific embedding datasets across 7 tasks that cover diverse textual types in both Chinese and English, such as financial news articles, corporate annual reports, ESG reports, regulatory filings, and earnings call transcripts. We also develop a finance-adapted model, FinPersona-E5, using a persona-based data synthetic method to cover diverse financial embedding tasks for training. Through extensive evaluation of 15 embedding models, including FinPersona-E5, we show three key findings: (1) performance on general-purpose benchmarks shows limited correlation with financial domain tasks; (2) domain-adapted models consistently outperform their general-purpose counterparts; and (3) surprisingly, a simple Bag-of-Words (BoW) approach outperforms sophisticated dense embeddings in financial Semantic Textual Similarity (STS) tasks, underscoring current limitations in dense embedding techniques. Our work establishes a robust evaluation framework for financial NLP applications and provides crucial insights for developing domain-specific embedding models.