zELO: ELO-inspiriertes Trainingsverfahren für Reranker und Embedding-Modelle

papers.abstract

Wir stellen eine neuartige Trainingsmethodik namens zELO vor, die die Retrieval-Leistung durch die Analyse optimiert, dass Ranking-Aufgaben statisch äquivalent zu einem Thurstone-Modell sind. Basierend auf der zELO-Methode verwenden wir unüberwachte Daten, um eine Reihe von state-of-the-art Open-Weight-Reranker-Modellen zu trainieren: zerank-1 und zerank-1-small. Diese Modelle erzielen die höchsten Retrieval-Werte in mehreren Domänen, darunter Finanzen, Recht, Code und MINT, und übertreffen proprietäre Closed-Source-Reranker sowohl bei NDCG@10 als auch bei Recall. Diese Modelle zeigen auch eine große Vielseitigkeit, indem sie ihre 0-Shot-Leistung auf domänenfremden und privaten Kundendatensätzen beibehalten. Die Trainingsdaten umfassten 112.000 Abfragen und 100 Dokumente pro Abfrage und wurden end-to-end aus nicht annotierten Abfragen und Dokumenten in weniger als 10.000 H100-Stunden trainiert.

English

We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.

zELO: ELO-inspiriertes Trainingsverfahren für Reranker und Embedding-Modelle

zELO: ELO-inspired Training Method for Rerankers and Embedding Models

papers.abstract

Support