LimRank: Menos é Mais para Reordenamento de Informação Intensivo em Raciocínio

LimRank: Less is More for Reasoning-Intensive Information Reranking

October 27, 2025

Autores: Tingyu Song, Yilun Zhao, Siyue Zhang, Chen Zhao, Arman Cohan

cs.AI

Resumo

As abordagens existentes geralmente dependem de ajuste fino em larga escala para adaptar LLMs a tarefas de rerranqueamento de informação, o que é computacionalmente dispendioso. Neste trabalho, demonstramos que os LLMs modernos podem ser eficazmente adaptados usando apenas supervisão mínima e de alta qualidade. Para viabilizar isso, projetamos o LIMRANK-SYNTHESIZER, um *pipeline* reutilizável e de código aberto para gerar exemplos de rerranqueamento diversos, desafiadores e realistas. Utilizando esses dados sintéticos, realizamos o ajuste fino do nosso modelo de rerranqueamento, o LIMRANK. Avaliamos o LIMRANK em dois *benchmarks* desafiadores, nomeadamente o BRIGHT para recuperação intensiva em raciocínio e o FollowIR para recuperação por seguimento de instruções. Nossos experimentos demonstram que o LIMRANK atinge um desempenho competitivo, apesar de ser treinado com menos de 5% dos dados tipicamente utilizados em trabalhos anteriores. Estudos de ablação adicionais demonstram a eficácia do LIMRANK-SYNTHESIZER e as fortes capacidades de generalização do LIMRANK em tarefas subsequentes, incluindo busca de literatura científica e geração aumentada por recuperação para resolução de problemas intensivos em conhecimento.

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.