LimRank: 推論集約型情報再ランキングにおける「より少ないことはより多いこと」

要旨

既存のアプローチでは、情報の再ランキングタスクにLLMを適応させるために大規模なファインチューニングが一般的であり、計算コストが高い課題があった。本研究では、最小限の高品質な教師データのみを用いて、現代のLLMを効果的に適応させ得ることを実証する。これを実現するため、多様性に富み難易度が高く現実的な再ランキング事例を生成する、再利用可能なオープンソースパイプライン「LIMRANK-SYNTHESIZER」を設計した。この合成データを用いて再ランキングモデル「LIMRANK」をファインチューニングする。LIMRANKを、推論を要する検索タスクのBRIGHTと指示追従型検索タスクのFollowIRという2つの難易度の高いベンチマークで評価した。実験の結果、LIMRANKは従来研究で一般的に使用されるデータ量の5%未満で学習しながらも、競争力のある性能を達成することを示す。さらに、追加の ablation study により、LIMRANK-SYNTHESIZERの有効性と、科学文献検索や知識集約型問題解決のための検索拡張生成といった下流タスクにわたるLIMRANKの強力な汎化能力が実証された。

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.

LimRank: 推論集約型情報再ランキングにおける「より少ないことはより多いこと」

LimRank: Less is More for Reasoning-Intensive Information Reranking

要旨

Support