「過剰思考」を避けた文章再ランキング：推論は本当に必要か？

Don't "Overthink" Passage Reranking: Is Reasoning Truly Necessary?

May 22, 2025

著者: Nour Jedidi, Yung-Sung Chuang, James Glass, Jimmy Lin

cs.AI

要旨

複雑な自然言語タスクにおける推論モデルの成功が増す中、情報検索（IR）コミュニティの研究者たちは、大規模言語モデル（LLM）に基づくパッセージ再ランキングシステムに同様の推論能力を統合する方法を探求し始めています。これらの手法では、通常、LLMを使用して最終的な関連性予測に至る前に、明示的で段階的な推論プロセスを生成します。しかし、推論は実際に再ランキングの精度を向上させるのでしょうか？本論文では、この疑問に深く掘り下げ、推論ベースのポイントワイズ再ランキングシステム（ReasonRR）と標準的な非推論型ポイントワイズ再ランキングシステム（StandardRR）を同一のトレーニング条件下で比較し、StandardRRが一般的にReasonRRを上回ることを観察します。この観察を基に、ReasonRRにおける推論の重要性を調査するため、その推論プロセスを無効化したReasonRR-NoReasonを検討し、ReasonRR-NoReasonがReasonRRよりも驚くほど効果的であることを発見します。この結果の原因を調査したところ、推論ベースの再ランキングシステムは、LLMの推論プロセスによって制限され、極端な関連性スコアに押しやられるため、パッセージの部分的な関連性を考慮できず、これがポイントワイズ再ランキングシステムの精度にとって重要な要素であることが明らかになりました。

English

With the growing success of reasoning models across complex natural language tasks, researchers in the Information Retrieval (IR) community have begun exploring how similar reasoning capabilities can be integrated into passage rerankers built on Large Language Models (LLMs). These methods typically employ an LLM to produce an explicit, step-by-step reasoning process before arriving at a final relevance prediction. But, does reasoning actually improve reranking accuracy? In this paper, we dive deeper into this question, studying the impact of the reasoning process by comparing reasoning-based pointwise rerankers (ReasonRR) to standard, non-reasoning pointwise rerankers (StandardRR) under identical training conditions, and observe that StandardRR generally outperforms ReasonRR. Building on this observation, we then study the importance of reasoning to ReasonRR by disabling its reasoning process (ReasonRR-NoReason), and find that ReasonRR-NoReason is surprisingly more effective than ReasonRR. Examining the cause of this result, our findings reveal that reasoning-based rerankers are limited by the LLM's reasoning process, which pushes it toward polarized relevance scores and thus fails to consider the partial relevance of passages, a key factor for the accuracy of pointwise rerankers.