mGTE: Representação de Texto de Longo Contexto Generalizada e Modelos de Reordenação para Recuperação de Texto Multilíngue

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

July 29, 2024

Autores: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang

cs.AI

Resumo

Apresentamos esforços sistemáticos na construção de um modelo de representação de texto multilíngue de longo contexto (TRM) e um reclassificador do zero para recuperação de texto. Primeiramente, introduzimos um codificador de texto (tamanho base) aprimorado com RoPE e descompactação, pré-treinado em um contexto nativo de 8192 tokens (maior do que os 512 dos codificadores multilíngues anteriores). Em seguida, construímos um TRM híbrido e um reclassificador de cruzamento por aprendizado contrastivo. As avaliações mostram que nosso codificador de texto supera o XLM-R de última geração do mesmo tamanho. Enquanto isso, nosso TRM e reclassificador alcançam o desempenho dos modelos BGE-M3 de última geração em tamanho grande e obtêm resultados melhores em benchmarks de recuperação de longo contexto. Análises adicionais demonstram que nossos modelos propostos apresentam maior eficiência tanto durante o treinamento quanto na inferência. Acreditamos que sua eficiência e eficácia podem beneficiar várias pesquisas e aplicações industriais.

English

We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.