¿No "sobrepienses" la reordenación de pasajes: ¿Es realmente necesario el razonamiento?

Don't "Overthink" Passage Reranking: Is Reasoning Truly Necessary?

May 22, 2025

Autores: Nour Jedidi, Yung-Sung Chuang, James Glass, Jimmy Lin

cs.AI

Resumen

Con el creciente éxito de los modelos de razonamiento en tareas complejas de lenguaje natural, los investigadores en la comunidad de Recuperación de Información (RI) han comenzado a explorar cómo capacidades de razonamiento similares pueden integrarse en sistemas de reranking de pasajes basados en Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés). Estos métodos suelen emplear un LLM para generar un proceso de razonamiento explícito y paso a paso antes de llegar a una predicción final de relevancia. Pero, ¿realmente mejora el razonamiento la precisión del reranking? En este artículo, profundizamos en esta pregunta, estudiando el impacto del proceso de razonamiento al comparar sistemas de reranking puntual basados en razonamiento (ReasonRR) con sistemas de reranking puntual estándar sin razonamiento (StandardRR) bajo condiciones de entrenamiento idénticas, y observamos que StandardRR generalmente supera a ReasonRR. Basándonos en esta observación, estudiamos la importancia del razonamiento para ReasonRR al desactivar su proceso de razonamiento (ReasonRR-NoReason), y encontramos que ReasonRR-NoReason es sorprendentemente más efectivo que ReasonRR. Al examinar la causa de este resultado, nuestros hallazgos revelan que los sistemas de reranking basados en razonamiento están limitados por el proceso de razonamiento del LLM, que lo lleva hacia puntuaciones de relevancia polarizadas y, por lo tanto, no considera la relevancia parcial de los pasajes, un factor clave para la precisión de los sistemas de reranking puntual.

English

With the growing success of reasoning models across complex natural language tasks, researchers in the Information Retrieval (IR) community have begun exploring how similar reasoning capabilities can be integrated into passage rerankers built on Large Language Models (LLMs). These methods typically employ an LLM to produce an explicit, step-by-step reasoning process before arriving at a final relevance prediction. But, does reasoning actually improve reranking accuracy? In this paper, we dive deeper into this question, studying the impact of the reasoning process by comparing reasoning-based pointwise rerankers (ReasonRR) to standard, non-reasoning pointwise rerankers (StandardRR) under identical training conditions, and observe that StandardRR generally outperforms ReasonRR. Building on this observation, we then study the importance of reasoning to ReasonRR by disabling its reasoning process (ReasonRR-NoReason), and find that ReasonRR-NoReason is surprisingly more effective than ReasonRR. Examining the cause of this result, our findings reveal that reasoning-based rerankers are limited by the LLM's reasoning process, which pushes it toward polarized relevance scores and thus fails to consider the partial relevance of passages, a key factor for the accuracy of pointwise rerankers.