ロシアに焦点を当てた埋め込み探索：ruMTEBベンチマークとロシア語埋め込みモデルの設計

The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design

August 22, 2024

著者: Artem Snegirev, Maria Tikhonova, Anna Maksimova, Alena Fenogenova, Alexander Abramov

cs.AI

要旨

埋め込みモデルは、自然言語処理（NLP）において重要な役割を果たし、情報検索や意味的なテキスト類似性の評価など、さまざまなタスクで使用されるテキスト埋め込みを生成します。本論文は、ロシア語に関連する埋め込みモデルに焦点を当てています。新しいロシア語に焦点を当てた埋め込みモデルであるru-en-RoSBERTaと、Massive Text Embedding Benchmark（MTEB）を拡張したロシア語版であるruMTEBベンチマークを紹介しています。当社のベンチマークには、意味的なテキスト類似性、テキスト分類、再ランキング、検索など、7つのカテゴリのタスクが含まれています。また、提案されたベンチマークでロシア語および多言語モデルの代表的なセットを評価しています。調査結果によると、新しいモデルはロシア語において最先端のモデルと同等の結果を達成しています。当社はモデルru-en-RoSBERTaを公開し、ruMTEBフレームワークはオープンソースコード、元のフレームワークへの統合、およびパブリックリーダーボードを提供しています。

English

Embedding models play a crucial role in Natural Language Processing (NLP) by creating text embeddings used in various tasks such as information retrieval and assessing semantic text similarity. This paper focuses on research related to embedding models in the Russian language. It introduces a new Russian-focused embedding model called ru-en-RoSBERTa and the ruMTEB benchmark, the Russian version extending the Massive Text Embedding Benchmark (MTEB). Our benchmark includes seven categories of tasks, such as semantic textual similarity, text classification, reranking, and retrieval. The research also assesses a representative set of Russian and multilingual models on the proposed benchmark. The findings indicate that the new model achieves results that are on par with state-of-the-art models in Russian. We release the model ru-en-RoSBERTa, and the ruMTEB framework comes with open-source code, integration into the original framework and a public leaderboard.