LimRank: Minder is Meer voor Redeneerintensieve Herrangschikking van Informatie

LimRank: Less is More for Reasoning-Intensive Information Reranking

October 27, 2025

Auteurs: Tingyu Song, Yilun Zhao, Siyue Zhang, Chen Zhao, Arman Cohan

cs.AI

Samenvatting

Bestaande benaderingen zijn doorgaans afhankelijk van grootschalige fine-tuning om taalmodellen aan te passen voor herrangkings-taken, wat rekenkundig kostbaar is. In dit werk tonen we aan dat moderne taalmodellen effectief kunnen worden aangepast met uitsluitend minimale, hoogwaardige supervisie. Hiertoe ontwikkelen we LIMRANK-SYNTHESIZER, een herbruikbare en open-source pijplijn voor het genereren van diverse, uitdagende en realistische herrangkingsvoorbeelden. Met behulp van deze synthetische data fine-tunen we ons herrangkingsmodel, LIMRANK. We evalueren LIMRANK op twee uitdagende benchmarks, namelijk BRIGHT voor reasoning-intensief zoeken en FollowIR voor instructievolgend zoeken. Onze experimenten tonen aan dat LIMRANK competitieve prestaties levert, terwijl het getraind is op minder dan 5% van de data die doorgaans in eerder werk wordt gebruikt. Verdere ablatiestudies demonstreren de effectiviteit van LIMRANK-SYNTHESIZER en de sterke generalisatiecapaciteiten van LIMRANK voor downstream-taken, waaronder het zoeken in wetenschappelijke literatuur en retrieval-augmented generation voor kennisintensief probleemoplossen.

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.