zELO: Metodo di Addestramento Ispirato a ELO per Modelli di Reranking e di Embedding

Abstract

Introduciamo una nuova metodologia di addestramento denominata zELO, che ottimizza le prestazioni di recupero attraverso l'analisi che i task di ranking sono staticamente equivalenti a un modello di Thurstone. Basandoci sul metodo zELO, utilizziamo dati non supervisionati per addestrare una suite di modelli di reranking open-weight all'avanguardia: zerank-1 e zerank-1-small. Questi modelli raggiungono i punteggi di recupero più elevati in molteplici domini, tra cui finanza, legale, codice e STEM, superando i reranker proprietari closed-source sia su NDCG@10 che su Recall. Questi modelli dimostrano anche una grande versatilità, mantenendo le loro prestazioni 0-shot su dataset fuori dominio e su dataset privati dei clienti. I dati di addestramento includevano 112.000 query e 100 documenti per query, e il training è stato eseguito end-to-end da query e documenti non annotati in meno di 10.000 ore-H100.

English

We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.

zELO: Metodo di Addestramento Ispirato a ELO per Modelli di Reranking e di Embedding

zELO: ELO-inspired Training Method for Rerankers and Embedding Models

Abstract

Support