LimRank: меньше значит больше для переранжирования информации с интенсивными рассуждениями

LimRank: Less is More for Reasoning-Intensive Information Reranking

October 27, 2025

Авторы: Tingyu Song, Yilun Zhao, Siyue Zhang, Chen Zhao, Arman Cohan

cs.AI

Аннотация

Существующие подходы обычно требуют масштабного тонкого настройки для адаптации больших языковых моделей (LLM) к задачам реранжирования информации, что вычислительно затратно. В данной работе мы демонстрируем, что современные LLM можно эффективно адаптировать, используя лишь минимальный объем высококачественных размеченных данных. Для этого мы разработали LIMRANK-SYNTHESIZER — многократно используемый и открытый конвейер для генерации разнообразных, сложных и реалистичных примеров для реранжирования. Используя эти синтетические данные, мы выполняем тонкую настройку нашей модели для реранжирования LIMRANK. Мы оцениваем LIMRANK на двух сложных наборах данных: BRIGHT для поиска, требующего интенсивных рассуждений, и FollowIR для поиска с выполнением инструкций. Наши эксперименты показывают, что LIMRANK демонстрирует конкурентоспособные результаты, будучи обученной менее чем на 5% данных, обычно используемых в предыдущих работах. Дополнительные абляционные исследования подтверждают эффективность LIMRANK-SYNTHESIZER и сильные обобщающие способности LIMRANK при решении различных прикладных задач, включая поиск научной литературы и генерацию с усилением retrieval для решения задач, требующих обширных знаний.

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.