mGTE: Modelos de Representación de Texto de Contexto Largo Generalizado y Reordenamiento para la Recuperación de Texto Multilingüe

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

July 29, 2024

Autores: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang

cs.AI

Resumen

Presentamos esfuerzos sistemáticos en la construcción de un modelo de representación de texto multilingüe de largo contexto (TRM, por sus siglas en inglés) y un reordenador desde cero para la recuperación de texto. Primero introducimos un codificador de texto (tamaño base) mejorado con RoPE y desempaquetado, pre-entrenado en un contexto nativo de 8192 tokens (más largo que los 512 de los codificadores multilingües anteriores). Luego construimos un TRM híbrido y un reordenador de tipo cruzado mediante aprendizaje contrastivo. Las evaluaciones muestran que nuestro codificador de texto supera al XLM-R, estado del arte anterior del mismo tamaño. Mientras tanto, nuestro TRM y reordenador igualan el rendimiento de los modelos BGE-M3 de estado del arte de gran tamaño y logran mejores resultados en bancos de pruebas de recuperación de largo contexto. Un análisis adicional demuestra que nuestros modelos propuestos muestran una mayor eficiencia tanto durante el entrenamiento como en la inferencia. Creemos que su eficiencia y efectividad podrían beneficiar a diversas investigaciones y aplicaciones industriales.

English

We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.