mGTE: Обобщенные модели представления текста с длинным контекстом и переупорядочивания для многоязычного поиска текста

mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval

July 29, 2024

Авторы: Xin Zhang, Yanzhao Zhang, Dingkun Long, Wen Xie, Ziqi Dai, Jialong Tang, Huan Lin, Baosong Yang, Pengjun Xie, Fei Huang, Meishan Zhang, Wenjie Li, Min Zhang

cs.AI

Аннотация

Мы представляем систематические усилия по созданию модели представления многоязычного текста с длинным контекстом (TRM) и переранжировщика с нуля для поиска текста. Сначала мы представляем текстовый кодировщик (базового размера), улучшенный с помощью RoPE и разбиения на блоки, предварительно обученный в нативном контексте из 8192 токенов (длиннее, чем 512 у предыдущих многоязычных кодировщиков). Затем мы создаем гибридный TRM и переранжировщик на основе кросс-кодировщика с помощью контрастного обучения. Оценки показывают, что наш текстовый кодировщик превосходит кодировщик XLM-R предыдущего размера, который считался передовым. В то же время, наш TRM и переранжировщик соответствуют производительности моделей BGE-M3 передового крупного размера и достигают лучших результатов на бенчмарках поиска текста с длинным контекстом. Дальнейший анализ показывает, что наши предложенные модели обладают более высокой эффективностью как во время обучения, так и вывода. Мы считаем, что их эффективность и эффективность могут быть полезны для различных исследований и промышленных приложений.

English

We present systematic efforts in building long-context multilingual text representation model (TRM) and reranker from scratch for text retrieval. We first introduce a text encoder (base size) enhanced with RoPE and unpadding, pre-trained in a native 8192-token context (longer than 512 of previous multilingual encoders). Then we construct a hybrid TRM and a cross-encoder reranker by contrastive learning. Evaluations show that our text encoder outperforms the same-sized previous state-of-the-art XLM-R. Meanwhile, our TRM and reranker match the performance of large-sized state-of-the-art BGE-M3 models and achieve better results on long-context retrieval benchmarks. Further analysis demonstrate that our proposed models exhibit higher efficiency during both training and inference. We believe their efficiency and effectiveness could benefit various researches and industrial applications.