La exploración de los incrustadores centrados en el ruso: el banco de pruebas ruMTEB y el diseño del modelo de incrustación ruso.

The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design

August 22, 2024

Autores: Artem Snegirev, Maria Tikhonova, Anna Maksimova, Alena Fenogenova, Alexander Abramov

cs.AI

Resumen

Los modelos de incrustación desempeñan un papel crucial en el Procesamiento del Lenguaje Natural (PLN) al crear incrustaciones de texto utilizadas en diversas tareas como la recuperación de información y la evaluación de la similitud semántica del texto. Este artículo se centra en la investigación relacionada con los modelos de incrustación en el idioma ruso. Introduce un nuevo modelo de incrustación centrado en el ruso llamado ru-en-RoSBERTa y el banco de pruebas ruMTEB, la versión rusa que amplía el Massive Text Embedding Benchmark (MTEB). Nuestro banco de pruebas incluye siete categorías de tareas, como similitud textual semántica, clasificación de texto, reordenamiento y recuperación. La investigación también evalúa un conjunto representativo de modelos rusos y multilingües en el banco de pruebas propuesto. Los hallazgos indican que el nuevo modelo logra resultados equiparables a los modelos de vanguardia en ruso. Publicamos el modelo ru-en-RoSBERTa, y el marco ruMTEB viene con código de fuente abierta, integración en el marco original y un tablero público de clasificación.

English

Embedding models play a crucial role in Natural Language Processing (NLP) by creating text embeddings used in various tasks such as information retrieval and assessing semantic text similarity. This paper focuses on research related to embedding models in the Russian language. It introduces a new Russian-focused embedding model called ru-en-RoSBERTa and the ruMTEB benchmark, the Russian version extending the Massive Text Embedding Benchmark (MTEB). Our benchmark includes seven categories of tasks, such as semantic textual similarity, text classification, reranking, and retrieval. The research also assesses a representative set of Russian and multilingual models on the proposed benchmark. The findings indicate that the new model achieves results that are on par with state-of-the-art models in Russian. We release the model ru-en-RoSBERTa, and the ruMTEB framework comes with open-source code, integration into the original framework and a public leaderboard.