zELO: ELO-geïnspireerde trainingsmethode voor herrangschikkers en embeddingmodellen

Samenvatting

We introduceren een nieuwe trainingsmethodologie genaamd zELO, die de retrievalscore optimaliseert via de analyse dat rankingtaken statisch equivalent zijn aan een Thurstone-model. Op basis van de zELO-methode gebruiken we ongelabelde data om een reeks state-of-the-art open-weight herrankingsmodellen te trainen: zerank-1 en zerank-1-small. Deze modellen behalen de hoogste retrievalscores in meerdere domeinen, waaronder financiën, juridisch, code en STEM, en overtreffen gesloten, propriëtaire herrankers op zowel NDCG@10 als Recall. Deze modellen tonen ook grote veelzijdigheid door hun 0-shot prestaties te behouden op domein-externe en private klantdatasets. De trainingsdata bestond uit 112.000 queries en 100 documenten per query, en werd end-to-end getraind vanaf niet-geannoteerde queries en documenten in minder dan 10.000 H100-uren.

English

We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.

zELO: ELO-geïnspireerde trainingsmethode voor herrangschikkers en embeddingmodellen

zELO: ELO-inspired Training Method for Rerankers and Embedding Models

Samenvatting

Support