A exploração dos incorporadores focados em russo: benchmark ruMTEB e design do modelo de incorporação russo.

The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design

August 22, 2024

Autores: Artem Snegirev, Maria Tikhonova, Anna Maksimova, Alena Fenogenova, Alexander Abramov

cs.AI

Resumo

Os modelos de incorporação desempenham um papel crucial no Processamento de Linguagem Natural (PLN) ao criar incorporações de texto usadas em várias tarefas, como recuperação de informação e avaliação da similaridade semântica de textos. Este artigo concentra-se em pesquisas relacionadas a modelos de incorporação na língua russa. Ele apresenta um novo modelo de incorporação focado no russo chamado ru-en-RoSBERTa e o benchmark ruMTEB, a versão russa que estende o Massive Text Embedding Benchmark (MTEB). Nosso benchmark inclui sete categorias de tarefas, como similaridade textual semântica, classificação de texto, reclassificação e recuperação. A pesquisa também avalia um conjunto representativo de modelos russos e multilíngues no benchmark proposto. Os resultados indicam que o novo modelo alcança resultados equivalentes aos modelos de ponta em russo. Lançamos o modelo ru-en-RoSBERTa, e o framework ruMTEB vem com código aberto, integração no framework original e um quadro de líderes públicos.

English

Embedding models play a crucial role in Natural Language Processing (NLP) by creating text embeddings used in various tasks such as information retrieval and assessing semantic text similarity. This paper focuses on research related to embedding models in the Russian language. It introduces a new Russian-focused embedding model called ru-en-RoSBERTa and the ruMTEB benchmark, the Russian version extending the Massive Text Embedding Benchmark (MTEB). Our benchmark includes seven categories of tasks, such as semantic textual similarity, text classification, reranking, and retrieval. The research also assesses a representative set of Russian and multilingual models on the proposed benchmark. The findings indicate that the new model achieves results that are on par with state-of-the-art models in Russian. We release the model ru-en-RoSBERTa, and the ruMTEB framework comes with open-source code, integration into the original framework and a public leaderboard.