L'esplorazione degli embedder focalizzati sul russo: benchmark ruMTEB e progettazione del modello di embedding per il russo

The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design

August 22, 2024

Autori: Artem Snegirev, Maria Tikhonova, Anna Maksimova, Alena Fenogenova, Alexander Abramov

cs.AI

Abstract

I modelli di embedding svolgono un ruolo cruciale nell'elaborazione del linguaggio naturale (NLP) creando rappresentazioni vettoriali del testo utilizzate in vari compiti come il recupero delle informazioni e la valutazione della similarità semantica del testo. Questo articolo si concentra sulla ricerca relativa ai modelli di embedding per la lingua russa. Introduce un nuovo modello di embedding specifico per il russo, chiamato ru-en-RoSBERTa, e il benchmark ruMTEB, la versione russa che estende il Massive Text Embedding Benchmark (MTEB). Il nostro benchmark include sette categorie di compiti, come la similarità semantica testuale, la classificazione del testo, il riordinamento e il recupero. La ricerca valuta inoltre un insieme rappresentativo di modelli russi e multilingue sul benchmark proposto. I risultati indicano che il nuovo modello raggiunge prestazioni paragonabili ai modelli all'avanguardia per il russo. Rilasciamo il modello ru-en-RoSBERTa, e il framework ruMTEB è accompagnato da codice open-source, integrazione nel framework originale e una classifica pubblica.

English

Embedding models play a crucial role in Natural Language Processing (NLP) by creating text embeddings used in various tasks such as information retrieval and assessing semantic text similarity. This paper focuses on research related to embedding models in the Russian language. It introduces a new Russian-focused embedding model called ru-en-RoSBERTa and the ruMTEB benchmark, the Russian version extending the Massive Text Embedding Benchmark (MTEB). Our benchmark includes seven categories of tasks, such as semantic textual similarity, text classification, reranking, and retrieval. The research also assesses a representative set of Russian and multilingual models on the proposed benchmark. The findings indicate that the new model achieves results that are on par with state-of-the-art models in Russian. We release the model ru-en-RoSBERTa, and the ruMTEB framework comes with open-source code, integration into the original framework and a public leaderboard.