Rank1 : Calcul au moment du test pour le réordonnancement en recherche d'information

Rank1: Test-Time Compute for Reranking in Information Retrieval

February 25, 2025

Auteurs: Orion Weller, Kathryn Ricci, Eugene Yang, Andrew Yates, Dawn Lawrie, Benjamin Van Durme

cs.AI

Résumé

Nous présentons Rank1, le premier modèle de réordonnancement entraîné pour tirer parti du calcul au moment de l'inférence. Rank1 démontre l'applicabilité dans le domaine de la recherche d'utiliser un modèle de langage de raisonnement (par exemple, OpenAI's o1, Deepseek's R1, etc.) pour la distillation afin d'améliorer rapidement les performances d'un modèle plus petit. Nous avons rassemblé et rendu public un ensemble de données de plus de 600 000 exemples de traces de raisonnement R1 issues de requêtes et de passages de MS MARCO. Les modèles entraînés sur cet ensemble de données montrent : (1) des performances de pointe sur des ensembles de données avancés de raisonnement et de suivi d'instructions ; (2) une remarquable capacité à fonctionner hors distribution grâce à leur aptitude à répondre aux invites de l'utilisateur ; et (3) des chaînes de raisonnement explicables qui peuvent être fournies aux utilisateurs ou à des systèmes basés sur RAG. De plus, nous démontrons que les versions quantifiées de ces modèles conservent de solides performances tout en utilisant moins de calcul/mémoire. Globalement, Rank1 montre que le calcul au moment de l'inférence permet un nouveau type fondamental de modèle de réordonnancement explicable et performant pour la recherche.

English

We introduce Rank1, the first reranking model trained to take advantage of test-time compute. Rank1 demonstrates the applicability within retrieval of using a reasoning language model (i.e. OpenAI's o1, Deepseek's R1, etc.) for distillation in order to rapidly improve the performance of a smaller model. We gather and open-source a dataset of more than 600,000 examples of R1 reasoning traces from queries and passages in MS MARCO. Models trained on this dataset show: (1) state-of-the-art performance on advanced reasoning and instruction following datasets; (2) work remarkably well out of distribution due to the ability to respond to user-input prompts; and (3) have explainable reasoning chains that can be given to users or RAG-based systems. Further, we demonstrate that quantized versions of these models retain strong performance while using less compute/memory. Overall, Rank1 shows that test-time compute allows for a fundamentally new type of explainable and performant reranker model for search.