mGTE: Gegeneraliseerde modellen voor tekstrepresentatie en herrangschikking in lange contexten voor meertalige tekstretrieval

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

July 29, 2024

Auteurs: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang

cs.AI

Samenvatting

We presenteren systematische inspanningen in het ontwikkelen van een lang-context meertalig tekstrepresentatiemodel (TRM) en een reranker vanaf de grond voor tekstretrieval. We introduceren eerst een tekstencoder (basisgrootte) versterkt met RoPE en unpadding, voorgetraind in een native context van 8192 tokens (langer dan de 512 van vorige meertalige encoders). Vervolgens construeren we een hybride TRM en een cross-encoder reranker door middel van contrastief leren. Evaluaties tonen aan dat onze tekstencoder dezelfde grootte heeft als de vorige state-of-the-art XLM-R, maar deze overtreft. Tegelijkertijd evenaren onze TRM en reranker de prestaties van de grootschalige state-of-the-art BGE-M3-modellen en behalen ze betere resultaten op lang-context retrieval benchmarks. Verdere analyse toont aan dat onze voorgestelde modellen een hogere efficiëntie vertonen tijdens zowel training als inferentie. Wij geloven dat hun efficiëntie en effectiviteit diverse onderzoeken en industriële toepassingen ten goede kunnen komen.

English

We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.