LimRank: Menos es Más para la Reordenación de Información Intensiva en Razonamiento

LimRank: Less is More for Reasoning-Intensive Information Reranking

October 27, 2025

Autores: Tingyu Song, Yilun Zhao, Siyue Zhang, Chen Zhao, Arman Cohan

cs.AI

Resumen

Los enfoques existentes generalmente dependen de ajustes a gran escala para adaptar los LLMs a tareas de reranking de información, lo cual es computacionalmente costoso. En este trabajo, demostramos que los LLMs modernos pueden adaptarse eficazmente utilizando únicamente una supervisión mínima y de alta calidad. Para hacerlo posible, diseñamos LIMRANK-SYNTHESIZER, una pipeline reutilizable y de código abierto para generar ejemplos de reranking diversos, desafiantes y realistas. Utilizando estos datos sintéticos, ajustamos nuestro modelo de reranking, LIMRANK. Evaluamos LIMRANK en dos benchmarks desafiantes: BRIGHT para recuperación que requiere razonamiento intensivo y FollowIR para recuperación que sigue instrucciones. Nuestros experimentos demuestran que LIMRANK logra un rendimiento competitivo, mientras se entrena con menos del 5% de los datos típicamente utilizados en trabajos anteriores. Estudios de ablación adicionales demuestran la efectividad de LIMRANK-SYNTHESIZER y las sólidas capacidades de generalización de LIMRANK en diversas tareas posteriores, incluyendo la búsqueda de literatura científica y la generación aumentada por recuperación para la resolución de problemas intensivos en conocimiento.

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.