zELO : Méthode d'entraînement inspirée de l'ELO pour les modèles de reranking et d'embedding

zELO: ELO-inspired Training Method for Rerankers and Embedding Models

September 16, 2025

papers.authors: Nicholas Pipitone, Ghita Houir Alami, Advaith Avadhanam, Anton Kaminskyi, Ashley Khoo

cs.AI

papers.abstract

Nous présentons une nouvelle méthodologie d'entraînement nommée zELO, qui optimise les performances de recherche via l'analyse que les tâches de classement sont statiquement équivalentes à un modèle de Thurstone. Basée sur la méthode zELO, nous utilisons des données non supervisées pour entraîner une série de modèles de reranking open-weight de pointe : zerank-1 et zerank-1-small. Ces modèles atteignent les scores de recherche les plus élevés dans de multiples domaines, notamment la finance, le droit, le code et les STEM, surpassant les rerankers propriétaires fermés à la fois sur NDCG@10 et Recall. Ces modèles démontrent également une grande polyvalence, maintenant leurs performances en 0-shot sur des ensembles de données hors domaine et des données clients privées. Les données d'entraînement comprenaient 112 000 requêtes et 100 documents par requête, et ont été entraînées de bout en bout à partir de requêtes et de documents non annotés en moins de 10 000 heures-H100.

English

We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.