E^2Rank: 텍스트 임베딩을 효과적이고 효율적인 리스트와이즈 리랭커로 활용하기

초록

텍스트 임베딩 모델은 실제 검색 애플리케이션의 핵심 구성 요소로 작동합니다. 질의와 문서를 공유 임베딩 공간에 매핑함으로써 높은 효율성과 함께 경쟁력 있는 검색 성능을 제공합니다. 그러나 순위 지정 정확도는 전용 리랭커, 특히 최근의 LLM 기반 리스트와이즈(listwise) 리랭커와 비교할 때 여전히 제한적입니다. 이러한 리랭커는 세분화된 질의-문서 및 문서-문서 간 상호작용을 포착합니다. 본 논문에서는 간단하면서도 효과적인 통합 프레임워크인 E^2Rank(Efficient Embedding-based Ranking, 즉 임베딩 기반 순위 지정을 의미하며 Embedding-to-Rank를 함께 의미함)를 제안합니다. E^2Rank는 단일 텍스트 임베딩 모델이 리스트와이즈 순위 지정 목표 하의 지속적 학습을 통해 고품질 검색과 리스트와이즈 리랭킹을 모두 수행하도록 확장하여 뛰어난 효율성과 함께 강력한 효과성을 달성합니다. 질의와 문서 임베딩 간의 코사인 유사도를 통합 순위 함수로 적용함으로써, 원본 질의와 그 후보 문서들로 구성된 리스트와이즈 순위 지정 프롬프트는 기존 검색 모델의 유사 관련성 피드백(PRF)과 유사하게, 상위 K개 문서로부터의 신호로 강화된 향상된 질의 역할을 합니다. 이 설계는 기본 임베딩 모델의 효율성과 표현 품질을 유지하면서도 그 리랭킹 성능을 크게 향상시킵니다. 실험적으로 E^2Rank는 BEIR 리랭킹 벤치마크에서 최첨단 결과를 달성하고, 추론이 집중적인 BRIGHT 벤치마크에서도 매우 낮은 리랭킹 지연 시간으로 경쟁력 있는 성능을 입증했습니다. 또한 순위 지정 학습 과정이 MTEB 벤치마크에서의 임베딩 성능을 향상시킴을 보여줍니다. 우리의 연구 결과는 단일 임베딩 모델이 검색과 리랭킹을 효과적으로 통일하여 계산 효율성과 경쟁력 있는 순위 지정 정확도를 모두 제공할 수 있음을 시사합니다.

English

Text embedding models serve as a fundamental component in real-world search applications. By mapping queries and documents into a shared embedding space, they deliver competitive retrieval performance with high efficiency. However, their ranking fidelity remains limited compared to dedicated rerankers, especially recent LLM-based listwise rerankers, which capture fine-grained query-document and document-document interactions. In this paper, we propose a simple yet effective unified framework E^2Rank, means Efficient Embedding-based Ranking (also means Embedding-to-Rank), which extends a single text embedding model to perform both high-quality retrieval and listwise reranking through continued training under a listwise ranking objective, thereby achieving strong effectiveness with remarkable efficiency. By applying cosine similarity between the query and document embeddings as a unified ranking function, the listwise ranking prompt, which is constructed from the original query and its candidate documents, serves as an enhanced query enriched with signals from the top-K documents, akin to pseudo-relevance feedback (PRF) in traditional retrieval models. This design preserves the efficiency and representational quality of the base embedding model while significantly improving its reranking performance. Empirically, E^2Rank achieves state-of-the-art results on the BEIR reranking benchmark and demonstrates competitive performance on the reasoning-intensive BRIGHT benchmark, with very low reranking latency. We also show that the ranking training process improves embedding performance on the MTEB benchmark. Our findings indicate that a single embedding model can effectively unify retrieval and reranking, offering both computational efficiency and competitive ranking accuracy.

E^2Rank: 텍스트 임베딩을 효과적이고 효율적인 리스트와이즈 리랭커로 활용하기

E^2Rank: Your Text Embedding can Also be an Effective and Efficient Listwise Reranker

초록

Support