LimRank: 추론 집중 정보 재순위화에는 적은 것이 더 많다

초록

기존 접근법은 일반적으로 정보 재순위화 작업에 대형 언어 모델을 적용하기 위해 대규모 미세 조정에 의존하며, 이는 계산 비용이 매우 높습니다. 본 연구에서는 현대 대형 언어 모델이 최소한의 고품질 감독 데이터만으로도 효과적으로 적용될 수 있음을 보여줍니다. 이를 위해 우리는 다양하고 도전적이며 현실적인 재순위화 예제를 생성하기 위한 재사용 가능한 오픈소스 파이프라인인 LIMRANK-SYNTHESIZER를 설계했습니다. 이 합성 데이터를 사용하여 재순위화 모델인 LIMRANK를 미세 조정합니다. 우리는 LIMRANK를 두 가지 도전적인 벤치마크, 즉 추론 중심 검색을 위한 BRIGHT와 지시 따르기 검색을 위한 FollowIR에서 평가합니다. 실험 결과, LIMRANK는 기존 연구에서 일반적으로 사용되는 데이터의 5% 미만으로 학습되었음에도 불구하고 경쟁력 있는 성능을 달성함을 확인했습니다. 추가적인 제어 실험(ablation study)을 통해 LIMRANK-SYNTHESIZER의 효과와 LIMRANK의 과학 문헌 검색 및 지식 집약적 문제 해결을 위한 검색 증강 생성과 같은 다운스트림 작업 전반에 걸친 강력한 일반화 능력을 입증했습니다.

English

Existing approaches typically rely on large-scale fine-tuning to adapt LLMs for information reranking tasks, which is computationally expensive. In this work, we demonstrate that modern LLMs can be effectively adapted using only minimal, high-quality supervision. To enable this, we design LIMRANK-SYNTHESIZER, a reusable and open-source pipeline for generating diverse, challenging, and realistic reranking examples. Using this synthetic data, we fine-tune our reranker model, LIMRANK. We evaluate LIMRANK on two challenging benchmarks, i.e., BRIGHT for reasoning-intensive retrieval and FollowIR for instruction-following retrieval. Our experiments demonstrate that LIMRANK achieves competitive performance, while being trained on less than 5% of the data typically used in prior work. Further ablation studies demonstrate the effectiveness of LIMRANK-SYNTHESIZER and the strong generalization capabilities of LIMRANK across downstream tasks, including scientific literature search and retrieval-augmented generation for knowledge-intensive problem solving.

LimRank: 추론 집중 정보 재순위화에는 적은 것이 더 많다

LimRank: Less is More for Reasoning-Intensive Information Reranking

초록

Support