REARANK: 強化学習による推論再ランキングエージェント

REARANK: Reasoning Re-ranking Agent via Reinforcement Learning

May 26, 2025

著者: Le Zhang, Bo Wang, Xipeng Qiu, Siva Reddy, Aishwarya Agrawal

cs.AI

要旨

本論文では、大規模言語モデル（LLM）に基づくリストワイズ推論リランキングエージェントであるREARANKを提案する。REARANKは、リランキング前に明示的に推論を行うことで、性能と解釈可能性を大幅に向上させる。強化学習とデータ拡張を活用し、REARANKは主要な情報検索ベンチマークにおいてベースラインモデルを大きく上回る改善を達成し、特に179の注釈付きサンプルのみを必要とする。Qwen2.5-7Bを基盤としたREARANK-7Bは、ドメイン内およびドメイン外のベンチマークにおいてGPT-4に匹敵する性能を示し、推論が重要なBRIGHTベンチマークではGPT-4を上回る結果を出した。これらの結果は、我々のアプローチの有効性を裏付けるとともに、強化学習がLLMのリランキングにおける推論能力をどのように強化できるかを示している。

English

We present REARANK, a large language model (LLM)-based listwise reasoning reranking agent. REARANK explicitly reasons before reranking, significantly improving both performance and interpretability. Leveraging reinforcement learning and data augmentation, REARANK achieves substantial improvements over baseline models across popular information retrieval benchmarks, notably requiring only 179 annotated samples. Built on top of Qwen2.5-7B, our REARANK-7B demonstrates performance comparable to GPT-4 on both in-domain and out-of-domain benchmarks and even surpasses GPT-4 on reasoning-intensive BRIGHT benchmarks. These results underscore the effectiveness of our approach and highlight how reinforcement learning can enhance LLM reasoning capabilities in reranking.