Rank1: Calcolo al momento del test per il riordinamento nel recupero delle informazioni

Rank1: Test-Time Compute for Reranking in Information Retrieval

February 25, 2025

Autori: Orion Weller, Kathryn Ricci, Eugene Yang, Andrew Yates, Dawn Lawrie, Benjamin Van Durme

cs.AI

Abstract

Introduciamo Rank1, il primo modello di reranking addestrato per sfruttare il calcolo al momento del test. Rank1 dimostra l'applicabilità nel campo del retrieval di utilizzare un modello linguistico di ragionamento (ad esempio OpenAI's o1, Deepseek's R1, ecc.) per la distillazione al fine di migliorare rapidamente le prestazioni di un modello più piccolo. Abbiamo raccolto e reso open-source un dataset di oltre 600.000 esempi di tracce di ragionamento R1 da query e passaggi in MS MARCO. I modelli addestrati su questo dataset mostrano: (1) prestazioni all'avanguardia su dataset avanzati di ragionamento e seguimento di istruzioni; (2) funzionano notevolmente bene fuori distribuzione grazie alla capacità di rispondere ai prompt di input dell'utente; e (3) hanno catene di ragionamento spiegabili che possono essere fornite agli utenti o a sistemi basati su RAG. Inoltre, dimostriamo che le versioni quantizzate di questi modelli mantengono prestazioni solide utilizzando meno risorse di calcolo/memoria. Nel complesso, Rank1 mostra che il calcolo al momento del test consente un nuovo tipo fondamentale di modello di reranking spiegabile e performante per la ricerca.

English

We introduce Rank1, the first reranking model trained to take advantage of test-time compute. Rank1 demonstrates the applicability within retrieval of using a reasoning language model (i.e. OpenAI's o1, Deepseek's R1, etc.) for distillation in order to rapidly improve the performance of a smaller model. We gather and open-source a dataset of more than 600,000 examples of R1 reasoning traces from queries and passages in MS MARCO. Models trained on this dataset show: (1) state-of-the-art performance on advanced reasoning and instruction following datasets; (2) work remarkably well out of distribution due to the ability to respond to user-input prompts; and (3) have explainable reasoning chains that can be given to users or RAG-based systems. Further, we demonstrate that quantized versions of these models retain strong performance while using less compute/memory. Overall, Rank1 shows that test-time compute allows for a fundamentally new type of explainable and performant reranker model for search.