Многоязычные текстовые эмбеддинги E5: Технический отчет
Multilingual E5 Text Embeddings: A Technical Report
February 8, 2024
Авторы: Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei
cs.AI
Аннотация
В данном техническом отчете представлены методология обучения и результаты оценки открытых многоязычных моделей текстовых эмбеддингов E5, выпущенных в середине 2023 года. Предлагаются три модели эмбеддингов различных размеров (малая / базовая / большая), обеспечивающие баланс между эффективностью вывода и качеством эмбеддингов. Процедура обучения следует рецепту английской модели E5 и включает контрастное предварительное обучение на 1 миллиарде многоязычных текстовых пар с последующей тонкой настройкой на комбинации размеченных наборов данных. Кроме того, представлена новая модель эмбеддингов, настроенная на инструкции, чья производительность сопоставима с современными моделями аналогичного размера, работающими только с английским языком. Информация о выпуске моделей доступна по адресу https://github.com/microsoft/unilm/tree/master/e5.
English
This technical report presents the training methodology and evaluation
results of the open-source multilingual E5 text embedding models, released in
mid-2023. Three embedding models of different sizes (small / base / large) are
provided, offering a balance between the inference efficiency and embedding
quality. The training procedure adheres to the English E5 model recipe,
involving contrastive pre-training on 1 billion multilingual text pairs,
followed by fine-tuning on a combination of labeled datasets. Additionally, we
introduce a new instruction-tuned embedding model, whose performance is on par
with state-of-the-art, English-only models of similar sizes. Information
regarding the model release can be found at
https://github.com/microsoft/unilm/tree/master/e5 .