Incorporações de Texto E5 Multilíngue: Um Relatório Técnico
Multilingual E5 Text Embeddings: A Technical Report
February 8, 2024
Autores: Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder, Furu Wei
cs.AI
Resumo
Este relatório técnico apresenta a metodologia de treinamento e os resultados de avaliação dos modelos de incorporação de texto multilingue E5 de código aberto, lançados em meados de 2023. Três modelos de incorporação de diferentes tamanhos (pequeno / base / grande) são disponibilizados, oferecendo um equilíbrio entre eficiência de inferência e qualidade de incorporação. O procedimento de treinamento segue a receita do modelo E5 em inglês, envolvendo pré-treinamento contrastivo em 1 bilhão de pares de texto multilingue, seguido de ajuste fino em uma combinação de conjuntos de dados rotulados. Além disso, introduzimos um novo modelo de incorporação ajustado por instruções, cujo desempenho é comparável aos modelos state-of-the-art, exclusivamente em inglês, de tamanhos semelhantes. Informações sobre o lançamento do modelo podem ser encontradas em https://github.com/microsoft/unilm/tree/master/e5.
English
This technical report presents the training methodology and evaluation
results of the open-source multilingual E5 text embedding models, released in
mid-2023. Three embedding models of different sizes (small / base / large) are
provided, offering a balance between the inference efficiency and embedding
quality. The training procedure adheres to the English E5 model recipe,
involving contrastive pre-training on 1 billion multilingual text pairs,
followed by fine-tuning on a combination of labeled datasets. Additionally, we
introduce a new instruction-tuned embedding model, whose performance is on par
with state-of-the-art, English-only models of similar sizes. Information
regarding the model release can be found at
https://github.com/microsoft/unilm/tree/master/e5 .