zELO: リランカーと埋め込みモデルのためのELOに着想を得たトレーニング手法

要旨

我々は、ランキングタスクがThurstoneモデルと静的に等価であるという分析に基づき、検索性能を最適化する新しいトレーニング手法「zELO」を提案する。zELO手法に基づき、教師なしデータを使用して最先端のオープンウェイトリランカーモデル群（zerank-1およびzerank-1-small）をトレーニングした。これらのモデルは、金融、法律、コード、STEMなど複数のドメインにおいて最高の検索スコアを達成し、NDCG@10とRecallの両方においてクローズドソースのプロプライエタリリランカーを上回った。また、これらのモデルは高い汎用性を示し、ドメイン外データや顧客のプライベートデータセットにおいてもゼロショット性能を維持した。トレーニングデータは112,000クエリと各クエリあたり100ドキュメントを含み、アノテーションのないクエリとドキュメントからエンドツーエンドで10,000 H100時間未満でトレーニングされた。

English

We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.

zELO: リランカーと埋め込みモデルのためのELOに着想を得たトレーニング手法

zELO: ELO-inspired Training Method for Rerankers and Embedding Models

要旨

Support