zELO: 재순위 모델 및 임베딩 모델을 위한 ELO 기반 훈련 방법

초록

우리는 랭킹 작업이 Thurstone 모델과 정적으로 동등하다는 분석을 통해 검색 성능을 최적화하는 새로운 훈련 방법론인 zELO를 소개합니다. zELO 방법을 기반으로, 우리는 비지도 데이터를 사용하여 최첨단 오픈 가중치 리랭커 모델 세트인 zerank-1과 zerank-1-small을 훈련시켰습니다. 이 모델들은 금융, 법률, 코드, STEM 등 다양한 도메인에서 가장 높은 검색 점수를 달성하며, NDCG@10과 Recall 모두에서 클로즈드 소스 독점 리랭커를 능가합니다. 또한 이 모델들은 도메인 외부 및 고객의 비공개 데이터셋에서도 0-shot 성능을 유지하며 뛰어난 다용성을 보여줍니다. 훈련 데이터는 112,000개의 쿼리와 각 쿼리당 100개의 문서로 구성되었으며, 주석이 없는 쿼리와 문서로부터 10,000 H100-시간 미만으로 엔드투엔드 방식으로 훈련되었습니다.

English

We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.

zELO: 재순위 모델 및 임베딩 모델을 위한 ELO 기반 훈련 방법

zELO: ELO-inspired Training Method for Rerankers and Embedding Models

초록

Support