jina-reranker-v3: Взаимодействие "Последнее, но не запоздалое" для повторного ранжирования документов

jina-reranker-v3: Last but Not Late Interaction for Document Reranking

September 29, 2025

Авторы: Feng Wang, Yuqing Li, Han Xiao

cs.AI

Аннотация

jina-reranker-v3 представляет собой мультиязычный реранкер документов с 0.6 миллиардами параметров, который вводит новый подход под названием "последнее, но не позднее взаимодействие". В отличие от моделей с поздним взаимодействием, таких как ColBERT, которые выполняют раздельное кодирование с последующим многомерным сопоставлением, наш подход реализует причинное самовнимание между запросом и документами в пределах одного контекстного окна, что позволяет осуществлять богатое кросс-документное взаимодействие перед извлечением контекстных эмбеддингов из последнего токена каждого документа. Эта компактная архитектура достигает наилучших показателей на наборе данных BEIR с 61.94 nDCG@10, будучи при этом в десять раз меньше, чем генеративные реранкеры с поточечным ранжированием.

English

jina-reranker-v3 is a 0.6B parameter multilingual document reranker that introduces a novel last but not late interaction. Unlike late interaction models such as ColBERT that perform separate encoding followed by multi-vector matching, our approach conducts causal self-attention between query and documents within the same context window, enabling rich cross-document interactions before extracting contextual embeddings from the last token of each document. This compact architecture achieves state-of-the-art BEIR performance with 61.94 nDCG@10 while being ten times smaller than generative listwise rerankers.