mGTE: 다국어 텍스트 검색을 위한 일반화된 장문맥 텍스트 표현 및 재순위 모델

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

July 29, 2024

저자: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang

cs.AI

초록

본 논문에서는 텍스트 검색을 위한 장문 다국어 텍스트 표현 모델(TRM)과 리랭커를 처음부터 구축하기 위한 체계적인 노력을 소개합니다. 먼저, RoPE와 언패딩을 통해 강화된 텍스트 인코더(베이스 크기)를 도입했으며, 이는 기존 다국어 인코더의 512 토큰보다 긴 8192 토큰의 컨텍스트에서 사전 학습되었습니다. 이후, 대조 학습을 통해 하이브리드 TRM과 크로스-인코더 리랭커를 구성했습니다. 평가 결과, 우리의 텍스트 인코더는 동일 크기의 이전 최신 모델인 XLM-R을 능가하는 성능을 보였습니다. 동시에, 우리의 TRM과 리랭커는 대형 최신 BGE-M3 모델의 성능에 필적하며, 장문 컨텍스트 검색 벤치마크에서 더 나은 결과를 달성했습니다. 추가 분석을 통해 제안된 모델이 학습과 추론 과정에서 더 높은 효율성을 보임을 입증했습니다. 우리는 이러한 효율성과 효과가 다양한 연구 및 산업 응용에 기여할 수 있을 것으로 기대합니다.

English

We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.