mGTE : Modèles généralisés de représentation et de reranking de texte pour des contextes longs dans le cadre de la recherche multilingue de textes

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

July 29, 2024

Auteurs: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang

cs.AI

Résumé

Nous présentons des efforts systématiques dans la construction d'un modèle de représentation de texte multilingue à contexte long (TRM) et d'un rerankeur à partir de zéro pour la recherche de texte. Nous introduisons d'abord un encodeur de texte (taille de base) amélioré avec RoPE et unpadding, pré-entraîné dans un contexte natif de 8192 tokens (plus long que les 512 tokens des encodeurs multilingues précédents). Ensuite, nous construisons un TRM hybride et un rerankeur cross-encoder par apprentissage contrastif. Les évaluations montrent que notre encodeur de texte surpasse le XLM-R de même taille, précédemment considéré comme l'état de l'art. Par ailleurs, notre TRM et rerankeur égalent les performances des modèles BGE-M3 de grande taille, considérés comme l'état de l'art, et obtiennent de meilleurs résultats sur les benchmarks de recherche à contexte long. Une analyse approfondie démontre que nos modèles proposés présentent une efficacité accrue lors de l'entraînement et de l'inférence. Nous croyons que leur efficacité et leur performance pourraient bénéficier à diverses recherches et applications industrielles.

English

We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.