MMTEB: 大規模多言語テキスト埋め込みベンチマーク

MMTEB: Massive Multilingual Text Embedding Benchmark

February 19, 2025

著者: Kenneth Enevoldsen, Isaac Chung, Imene Kerboua, Márton Kardos, Ashwin Mathur, David Stap, Jay Gala, Wissam Siblini, Dominik Krzemiński, Genta Indra Winata, Saba Sturua, Saiteja Utpala, Mathieu Ciancone, Marion Schaeffer, Gabriel Sequeira, Diganta Misra, Shreeya Dhakal, Jonathan Rystrøm, Roman Solomatin, Ömer Çağatan, Akash Kundu, Martin Bernstorff, Shitao Xiao, Akshita Sukhlecha, Bhavish Pahwa, Rafał Poświata, Kranthi Kiran GV, Shawon Ashraf, Daniel Auras, Björn Plüster, Jan Philipp Harries, Loïc Magne, Isabelle Mohr, Mariya Hendriksen, Dawei Zhu, Hippolyte Gisserot-Boukhlef, Tom Aarsen, Jan Kostkan, Konrad Wojtasik, Taemin Lee, Marek Šuppa, Crystina Zhang, Roberta Rocca, Mohammed Hamdy, Andrianos Michail, John Yang, Manuel Faysse, Aleksei Vatolin, Nandan Thakur, Manan Dey, Dipam Vasani, Pranjal Chitale, Simone Tedeschi, Nguyen Tai, Artem Snegirev, Michael Günther, Mengzhou Xia, Weijia Shi, Xing Han Lù, Jordan Clive, Gayatri Krishnakumar, Anna Maksimova, Silvan Wehrli, Maria Tikhonova, Henil Panchal, Aleksandr Abramov, Malte Ostendorff, Zheng Liu, Simon Clematide, Lester James Miranda, Alena Fenogenova, Guangyu Song, Ruqiya Bin Safi, Wen-Ding Li, Alessia Borghini, Federico Cassano, Hongjin Su, Jimmy Lin, Howard Yen, Lasse Hansen, Sara Hooker, Chenghao Xiao, Vaibhav Adlakha, Orion Weller, Siva Reddy, Niklas Muennighoff

cs.AI

要旨

テキスト埋め込みモデルの評価は通常、言語、ドメイン、タスクの多様性によって制約された限定的なタスクセットで行われます。これらの制限を克服し、より包括的な評価を提供するため、我々はMassive Multilingual Text Embedding Benchmark（MMTEB）を導入しました。これはMTEBを大規模かつコミュニティ主導で拡張したもので、250以上の言語にわたる500以上の品質管理された評価タスクを網羅しています。MMTEBには、指示追従、長文書検索、コード検索といった多様で挑戦的な新規タスクが含まれており、埋め込みモデル向けの評価タスクとしてはこれまでで最大の多言語コレクションを形成しています。このコレクションを用いて、我々はいくつかの高度に多言語なベンチマークを開発し、代表的なモデルセットを評価しました。その結果、数十億のパラメータを持つ大規模言語モデル（LLM）が特定の言語サブセットやタスクカテゴリで最先端の性能を達成できる一方で、公開されているモデルの中で最も優れた性能を示したのはわずか5億6000万パラメータのmultilingual-e5-large-instructでした。アクセシビリティを向上させ、計算コストを削減するため、我々はタスク間相関に基づく新しいダウンサンプリング手法を導入し、相対的なモデル順位を維持しながら多様な選択を可能にしました。さらに、検索タスクを最適化するためにハードネガティブサンプリングを行い、より小さくても効果的なスプリットを作成しました。これらの最適化により、計算需要を大幅に削減したベンチマークを導入することができました。例えば、新たに導入したゼロショット英語ベンチマークは、フルスケール版と同様の順位付けを維持しながら、計算コストを大幅に削減しています。

English

Text embeddings are typically evaluated on a limited set of tasks, which are constrained by language, domain, and task diversity. To address these limitations and provide a more comprehensive evaluation, we introduce the Massive Multilingual Text Embedding Benchmark (MMTEB) - a large-scale, community-driven expansion of MTEB, covering over 500 quality-controlled evaluation tasks across 250+ languages. MMTEB includes a diverse set of challenging, novel tasks such as instruction following, long-document retrieval, and code retrieval, representing the largest multilingual collection of evaluation tasks for embedding models to date. Using this collection, we develop several highly multilingual benchmarks, which we use to evaluate a representative set of models. We find that while large language models (LLMs) with billions of parameters can achieve state-of-the-art performance on certain language subsets and task categories, the best-performing publicly available model is multilingual-e5-large-instruct with only 560 million parameters. To facilitate accessibility and reduce computational cost, we introduce a novel downsampling method based on inter-task correlation, ensuring a diverse selection while preserving relative model rankings. Furthermore, we optimize tasks such as retrieval by sampling hard negatives, creating smaller but effective splits. These optimizations allow us to introduce benchmarks that drastically reduce computational demands. For instance, our newly introduced zero-shot English benchmark maintains a ranking order similar to the full-scale version but at a fraction of the computational cost.