LimRank: Weniger ist mehr beim ressourcenintensiven Informations-Reranking

LimRank: Less is More for Reasoning-Intensive Information Reranking

October 27, 2025

papers.authors: Tingyu Song, Yilun Zhao, Siyue Zhang, Chen Zhao, Arman Cohan

cs.AI

papers.abstract

Bisherige Ansätze sind in der Regel auf umfangreiches Fine-Tuning angewiesen, um LLMs für Informations-Reranking-Aufgaben zu adaptieren, was rechenintensiv ist. In dieser Arbeit zeigen wir, dass moderne LLMs effektiv mit nur minimaler, hochwertiger Supervision angepasst werden können. Um dies zu ermöglichen, entwickeln wir LIMRANK-SYNTHESIZER, eine wiederverwendbare und quelloffene Pipeline zur Erzeugung diverser, anspruchsvoller und realistischer Reranking-Beispiele. Mit diesen synthetischen Daten führen wir ein Fine-Tuning unseres Reranking-Modells LIMRANK durch. Wir evaluieren LIMRANK anhand zweier anspruchsvoller Benchmarks: BRIGHT für reasoning-intensives Retrieval und FollowIR für instruktionsbasiertes Retrieval. Unsere Experimente zeigen, dass LIMRANK eine wettbewerbsfähige Leistung erzielt, obwohl es mit weniger als 5 % der typischerweise in früheren Arbeiten verwendeten Daten trainiert wurde. Weitere Ablationsstudien belegen die Wirksamkeit von LIMRANK-SYNTHESIZER sowie die starken Generalisierungsfähigkeiten von LIMRANK über verschiedene Downstream-Aufgaben hinweg, einschließlich wissenschaftlicher Literatursuche und Retrieval-Augmented Generation für wissensintensive Problemlösungen.

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.