De verkenning van Russisch-gerichte embedders: ruMTEB-benchmark en het ontwerp van Russische embeddingmodellen

The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design

August 22, 2024

Auteurs: Artem Snegirev, Maria Tikhonova, Anna Maksimova, Alena Fenogenova, Alexander Abramov

cs.AI

Samenvatting

Embeddingmodellen spelen een cruciale rol in Natural Language Processing (NLP) door het creëren van tekstembeddings die worden gebruikt in diverse taken, zoals informatiezoekopdrachten en het beoordelen van semantische tekstgelijkenis. Dit artikel richt zich op onderzoek naar embeddingmodellen voor de Russische taal. Het introduceert een nieuw Russisch gericht embeddingmodel genaamd ru-en-RoSBERTa en de ruMTEB-benchmark, de Russische versie die een uitbreiding vormt van de Massive Text Embedding Benchmark (MTEB). Onze benchmark omvat zeven categorieën van taken, zoals semantische tekstuele gelijkenis, tekstclassificatie, herrangschikking en informatiezoekopdrachten. Het onderzoek evalueert ook een representatieve set van Russische en meertalige modellen op de voorgestelde benchmark. De bevindingen tonen aan dat het nieuwe model resultaten behaalt die vergelijkbaar zijn met state-of-the-art modellen in het Russisch. We maken het model ru-en-RoSBERTa beschikbaar, en het ruMTEB-framework wordt geleverd met opensourcecode, integratie in het oorspronkelijke framework en een openbaar scorebord.

English

Embedding models play a crucial role in Natural Language Processing (NLP) by creating text embeddings used in various tasks such as information retrieval and assessing semantic text similarity. This paper focuses on research related to embedding models in the Russian language. It introduces a new Russian-focused embedding model called ru-en-RoSBERTa and the ruMTEB benchmark, the Russian version extending the Massive Text Embedding Benchmark (MTEB). Our benchmark includes seven categories of tasks, such as semantic textual similarity, text classification, reranking, and retrieval. The research also assesses a representative set of Russian and multilingual models on the proposed benchmark. The findings indicate that the new model achieves results that are on par with state-of-the-art models in Russian. We release the model ru-en-RoSBERTa, and the ruMTEB framework comes with open-source code, integration into the original framework and a public leaderboard.