Исследование векторных представлений с фокусом на русском языке: бенчмарк ruMTEB и разработка модели векторного представления для русского языка

The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design

August 22, 2024

Авторы: Artem Snegirev, Maria Tikhonova, Anna Maksimova, Alena Fenogenova, Alexander Abramov

cs.AI

Аннотация

Модели встраивания играют ключевую роль в обработке естественного языка (Natural Language Processing, NLP), создавая текстовые встраивания, используемые в различных задачах, таких как информационный поиск и оценка семантической близости текста. Данный доклад сосредотачивается на исследованиях, связанных с моделями встраивания в русском языке. Он представляет новую модель встраивания, сосредоточенную на русском языке, под названием ru-en-RoSBERTa, а также бенчмарк ruMTEB, русскую версию расширения Massive Text Embedding Benchmark (MTEB). Наш бенчмарк включает семь категорий задач, таких как семантическая текстовая близость, классификация текста, переранжирование и поиск. Исследование также оценивает представительный набор русских и мультиязычных моделей на предложенном бенчмарке. Полученные результаты показывают, что новая модель достигает результатов, сравнимых с передовыми моделями в русском языке. Мы выпускаем модель ru-en-RoSBERTa, и фреймворк ruMTEB поставляется с открытым исходным кодом, интеграцией в оригинальный фреймворк и публичным рейтингом.

English

Embedding models play a crucial role in Natural Language Processing (NLP) by creating text embeddings used in various tasks such as information retrieval and assessing semantic text similarity. This paper focuses on research related to embedding models in the Russian language. It introduces a new Russian-focused embedding model called ru-en-RoSBERTa and the ruMTEB benchmark, the Russian version extending the Massive Text Embedding Benchmark (MTEB). Our benchmark includes seven categories of tasks, such as semantic textual similarity, text classification, reranking, and retrieval. The research also assesses a representative set of Russian and multilingual models on the proposed benchmark. The findings indicate that the new model achieves results that are on par with state-of-the-art models in Russian. We release the model ru-en-RoSBERTa, and the ruMTEB framework comes with open-source code, integration into the original framework and a public leaderboard.