mGTE: Generalisierte Langkontext-Textrepräsentation und Reranking-Modelle für multilinguales Text Retrieval

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

July 29, 2024

Autoren: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang

cs.AI

Zusammenfassung

Wir präsentieren systematische Bemühungen beim Aufbau eines Modells für die Darstellung von mehrsprachigen Langtexten (TRM) mit langem Kontext und eines Rerankers von Grund auf für die Textsuche. Zunächst stellen wir einen Textkodierer (Basismodell) vor, der mit RoPE und Entfernung von Polsterung verbessert wurde und in einem nativen 8192-Token-Kontext (länger als die 512 vorheriger mehrsprachiger Kodierer) vortrainiert wurde. Anschließend konstruieren wir einen hybriden TRM und einen Cross-Kodierer-Reranker durch kontrastives Lernen. Evaluierungen zeigen, dass unser Textkodierer die gleiche Größe übertreffen kann wie der bisherige State-of-the-Art XLM-R. Gleichzeitig erreichen unser TRM und Reranker die Leistung der großformatigen State-of-the-Art BGE-M3-Modelle und erzielen bessere Ergebnisse bei Langtext-Suchbenchmarks. Weitere Analysen zeigen, dass unsere vorgeschlagenen Modelle eine höhere Effizienz sowohl beim Training als auch bei der Inferenz aufweisen. Wir glauben, dass ihre Effizienz und Wirksamkeit verschiedenen Forschungs- und Industrieanwendungen zugutekommen könnten.

English

We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.