MMTEB: Massiver Multilingualer Text-Einbettungs-Benchmark

Zusammenfassung

Text-Embeddings werden typischerweise anhand einer begrenzten Anzahl von Aufgaben bewertet, die durch Sprache, Domäne und Aufgabenvielfalt eingeschränkt sind. Um diese Einschränkungen zu überwinden und eine umfassendere Bewertung zu ermöglichen, führen wir den Massive Multilingual Text Embedding Benchmark (MMTEB) ein – eine groß angelegte, community-gesteuerte Erweiterung des MTEB, die über 500 qualitätskontrollierte Bewertungsaufgaben in mehr als 250 Sprachen abdeckt. MMTEB umfasst eine vielfältige Sammlung anspruchsvoller, neuartiger Aufgaben wie Befolgen von Anweisungen, Retrieval von langen Dokumenten und Code-Retrieval und stellt damit die bisher größte mehrsprachige Sammlung von Bewertungsaufgaben für Embedding-Modelle dar. Mithilfe dieser Sammlung entwickeln wir mehrere hochgradig mehrsprachige Benchmarks, die wir zur Bewertung einer repräsentativen Auswahl von Modellen verwenden. Wir stellen fest, dass große Sprachmodelle (LLMs) mit Milliarden von Parametern zwar Spitzenleistungen in bestimmten Sprachuntergruppen und Aufgabenkategorien erzielen können, das beste öffentlich verfügbare Modell jedoch multilingual-e5-large-instruct mit nur 560 Millionen Parametern ist. Um die Zugänglichkeit zu verbessern und die Rechenkosten zu reduzieren, führen wir eine neuartige Downsampling-Methode basierend auf der Inter-Task-Korrelation ein, die eine vielfältige Auswahl gewährleistet, während die relativen Modellrankings erhalten bleiben. Darüber hinaus optimieren wir Aufgaben wie Retrieval durch das Sampling von schwierigen Negativbeispielen, wodurch kleinere, aber effektive Datensplits entstehen. Diese Optimierungen ermöglichen es uns, Benchmarks einzuführen, die den Rechenaufwand drastisch reduzieren. Beispielsweise behält unser neu eingeführter Zero-Shot-Englisch-Benchmark eine ähnliche Rangfolge wie die Vollversion bei, jedoch bei einem Bruchteil der Rechenkosten.

English

Text embeddings are typically evaluated on a limited set of tasks, which are constrained by language, domain, and task diversity. To address these limitations and provide a more comprehensive evaluation, we introduce the Massive Multilingual Text Embedding Benchmark (MMTEB) - a large-scale, community-driven expansion of MTEB, covering over 500 quality-controlled evaluation tasks across 250+ languages. MMTEB includes a diverse set of challenging, novel tasks such as instruction following, long-document retrieval, and code retrieval, representing the largest multilingual collection of evaluation tasks for embedding models to date. Using this collection, we develop several highly multilingual benchmarks, which we use to evaluate a representative set of models. We find that while large language models (LLMs) with billions of parameters can achieve state-of-the-art performance on certain language subsets and task categories, the best-performing publicly available model is multilingual-e5-large-instruct with only 560 million parameters. To facilitate accessibility and reduce computational cost, we introduce a novel downsampling method based on inter-task correlation, ensuring a diverse selection while preserving relative model rankings. Furthermore, we optimize tasks such as retrieval by sampling hard negatives, creating smaller but effective splits. These optimizations allow us to introduce benchmarks that drastically reduce computational demands. For instance, our newly introduced zero-shot English benchmark maintains a ranking order similar to the full-scale version but at a fraction of the computational cost.

MMTEB: Massiver Multilingualer Text-Einbettungs-Benchmark

MMTEB: Massive Multilingual Text Embedding Benchmark

Zusammenfassung

Support