Ne pas « trop réfléchir » au réordonnancement des passages : Le raisonnement est-il vraiment nécessaire ?

Don't "Overthink" Passage Reranking: Is Reasoning Truly Necessary?

May 22, 2025

Auteurs: Nour Jedidi, Yung-Sung Chuang, James Glass, Jimmy Lin

cs.AI

Résumé

Avec le succès croissant des modèles de raisonnement dans des tâches complexes de traitement du langage naturel, les chercheurs de la communauté de la Recherche d'Information (RI) ont commencé à explorer comment des capacités de raisonnement similaires pourraient être intégrées dans des réorganisateurs de passages basés sur des modèles de langage à grande échelle (LLM). Ces méthodes utilisent généralement un LLM pour produire un processus de raisonnement explicite, étape par étape, avant d'arriver à une prédiction finale de pertinence. Mais le raisonnement améliore-t-il réellement la précision de la réorganisation ? Dans cet article, nous approfondissons cette question en étudiant l'impact du processus de raisonnement en comparant des réorganisateurs ponctuels basés sur le raisonnement (ReasonRR) à des réorganisateurs ponctuels standards sans raisonnement (StandardRR) dans des conditions d'entraînement identiques, et nous observons que StandardRR surpasse généralement ReasonRR. Sur la base de cette observation, nous étudions ensuite l'importance du raisonnement pour ReasonRR en désactivant son processus de raisonnement (ReasonRR-NoReason), et nous constatons que ReasonRR-NoReason est étonnamment plus efficace que ReasonRR. En examinant la cause de ce résultat, nos conclusions révèlent que les réorganisateurs basés sur le raisonnement sont limités par le processus de raisonnement du LLM, qui les pousse vers des scores de pertinence polarisés et ne parvient donc pas à considérer la pertinence partielle des passages, un facteur clé pour la précision des réorganisateurs ponctuels.

English

With the growing success of reasoning models across complex natural language tasks, researchers in the Information Retrieval (IR) community have begun exploring how similar reasoning capabilities can be integrated into passage rerankers built on Large Language Models (LLMs). These methods typically employ an LLM to produce an explicit, step-by-step reasoning process before arriving at a final relevance prediction. But, does reasoning actually improve reranking accuracy? In this paper, we dive deeper into this question, studying the impact of the reasoning process by comparing reasoning-based pointwise rerankers (ReasonRR) to standard, non-reasoning pointwise rerankers (StandardRR) under identical training conditions, and observe that StandardRR generally outperforms ReasonRR. Building on this observation, we then study the importance of reasoning to ReasonRR by disabling its reasoning process (ReasonRR-NoReason), and find that ReasonRR-NoReason is surprisingly more effective than ReasonRR. Examining the cause of this result, our findings reveal that reasoning-based rerankers are limited by the LLM's reasoning process, which pushes it toward polarized relevance scores and thus fails to consider the partial relevance of passages, a key factor for the accuracy of pointwise rerankers.