LimRank: Meno è Meglio per il Riranking di Informazioni ad Alta Intensità di Ragionamento

LimRank: Less is More for Reasoning-Intensive Information Reranking

October 27, 2025

Autori: Tingyu Song, Yilun Zhao, Siyue Zhang, Chen Zhao, Arman Cohan

cs.AI

Abstract

Gli approcci esistenti si basano tipicamente su una messa a punto su larga scala per adattare gli LLM ai compiti di riordinamento delle informazioni, il che è computazionalmente oneroso. In questo lavoro, dimostriamo che gli LLM moderni possono essere efficacemente adattati utilizzando esclusivamente una supervisione minima ma di alta qualità. Per renderlo possibile, progettiamo LIMRANK-SYNTHESIZER, una pipeline riutilizzabile e open-source per generare esempi di riordinamento diversificati, impegnativi e realistici. Utilizzando questi dati sintetici, addestriamo tramite messa a punto il nostro modello di riordinamento, LIMRANK. Valutiamo LIMRANK su due benchmark impegnativi, ovvero BRIGHT per il retrieval ad alta intensità di ragionamento e FollowIR per il retrieval che segue istruzioni. I nostri esperimenti dimostrano che LIMRANK raggiunge prestazioni competitive, pur essendo stato addestrato su meno del 5% dei dati tipicamente utilizzati nei lavori precedenti. Ulteriori studi di ablazione dimostrano l'efficacia di LIMRANK-SYNTHESIZER e le solide capacità di generalizzazione di LIMRANK attraverso compiti downstream, inclusa la ricerca nella letteratura scientifica e la generazione aumentata dal retrieval per la risoluzione di problemi ad alta intensità di conoscenza.

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.