zELO: Метод обучения, вдохновленный ELO, для ранжирующих моделей и моделей эмбеддингов

Аннотация

Мы представляем новую методику обучения под названием zELO, которая оптимизирует производительность поиска на основе анализа, что задачи ранжирования статически эквивалентны модели Терстоуна. На основе метода zELO мы используем неразмеченные данные для обучения набора современных моделей ранжирования с открытыми весами: zerank-1 и zerank-1-small. Эти модели достигают наивысших показателей поиска в различных областях, включая финансы, право, код и STEM, превосходя проприетарные ранжирующие системы с закрытым исходным кодом по метрикам NDCG@10 и Recall. Модели также демонстрируют высокую универсальность, сохраняя свою производительность в условиях 0-shot на данных из других доменов и на частных наборах данных клиентов. Обучающие данные включали 112 000 запросов и 100 документов на каждый запрос, а обучение проводилось сквозным образом на неразмеченных запросах и документах менее чем за 10 000 часов на GPU H100.

English

We introduce a novel training methodology named zELO, which optimizes retrieval performance via the analysis that ranking tasks are statically equivalent to a Thurstone model. Based on the zELO method, we use unsupervised data in order train a suite of state-of-the-art open-weight reranker models: zerank-1 and zerank-1-small. These models achieve the highest retrieval scores in multiple domains, including finance, legal, code, and STEM, outperforming closed-source proprietary rerankers on both NDCG@10 and Recall. These models also demonstrate great versatility, maintaining their 0-shot performance on out-of-domain and private customer datasets. The training data included 112,000 queries and 100 documents per query, and was trained end-to-end from unannotated queries and documents in less than 10,000 H100-hours.

zELO: Метод обучения, вдохновленный ELO, для ранжирующих моделей и моделей эмбеддингов

zELO: ELO-inspired Training Method for Rerankers and Embedding Models

Аннотация

Support