Rank1: Cómputo en Tiempo de Prueba para Reordenamiento en Recuperación de Información

Rank1: Test-Time Compute for Reranking in Information Retrieval

February 25, 2025

Autores: Orion Weller, Kathryn Ricci, Eugene Yang, Andrew Yates, Dawn Lawrie, Benjamin Van Durme

cs.AI

Resumen

Presentamos Rank1, el primer modelo de reordenamiento entrenado para aprovechar el cómputo en tiempo de prueba. Rank1 demuestra la aplicabilidad en la recuperación de información al utilizar un modelo de lenguaje de razonamiento (por ejemplo, o1 de OpenAI, R1 de Deepseek, etc.) para la destilación, con el fin de mejorar rápidamente el rendimiento de un modelo más pequeño. Recopilamos y publicamos un conjunto de datos de más de 600,000 ejemplos de trazas de razonamiento R1 a partir de consultas y pasajes de MS MARCO. Los modelos entrenados con este conjunto de datos muestran: (1) un rendimiento de vanguardia en conjuntos de datos avanzados de razonamiento y seguimiento de instrucciones; (2) un funcionamiento notablemente bueno fuera de distribución debido a la capacidad de responder a indicaciones de entrada del usuario; y (3) cadenas de razonamiento explicables que pueden ser proporcionadas a los usuarios o a sistemas basados en RAG. Además, demostramos que las versiones cuantizadas de estos modelos mantienen un rendimiento sólido mientras utilizan menos cómputo/memoria. En general, Rank1 muestra que el cómputo en tiempo de prueba permite un nuevo tipo fundamental de modelo de reordenamiento explicable y de alto rendimiento para la búsqueda.

English

We introduce Rank1, the first reranking model trained to take advantage of test-time compute. Rank1 demonstrates the applicability within retrieval of using a reasoning language model (i.e. OpenAI's o1, Deepseek's R1, etc.) for distillation in order to rapidly improve the performance of a smaller model. We gather and open-source a dataset of more than 600,000 examples of R1 reasoning traces from queries and passages in MS MARCO. Models trained on this dataset show: (1) state-of-the-art performance on advanced reasoning and instruction following datasets; (2) work remarkably well out of distribution due to the ability to respond to user-input prompts; and (3) have explainable reasoning chains that can be given to users or RAG-based systems. Further, we demonstrate that quantized versions of these models retain strong performance while using less compute/memory. Overall, Rank1 shows that test-time compute allows for a fundamentally new type of explainable and performant reranker model for search.