Não "Pense Demais" no Reordenamento de Passagens: O Raciocínio é Realmente Necessário?

Don't "Overthink" Passage Reranking: Is Reasoning Truly Necessary?

May 22, 2025

Autores: Nour Jedidi, Yung-Sung Chuang, James Glass, Jimmy Lin

cs.AI

Resumo

Com o crescente sucesso dos modelos de raciocínio em tarefas complexas de linguagem natural, pesquisadores da comunidade de Recuperação de Informação (RI) começaram a explorar como capacidades semelhantes de raciocínio podem ser integradas em rerankers de passagens baseados em Modelos de Linguagem de Grande Escala (LLMs). Esses métodos normalmente empregam um LLM para produzir um processo de raciocínio explícito, passo a passo, antes de chegar a uma previsão final de relevância. Mas, o raciocínio realmente melhora a precisão do reranking? Neste artigo, investigamos mais a fundo essa questão, estudando o impacto do processo de raciocínio ao comparar rerankers pontuais baseados em raciocínio (ReasonRR) com rerankers pontuais padrão, sem raciocínio (StandardRR), sob condições idênticas de treinamento, e observamos que o StandardRR geralmente supera o ReasonRR. Com base nessa observação, estudamos a importância do raciocínio para o ReasonRR ao desabilitar seu processo de raciocínio (ReasonRR-NoReason) e descobrimos que o ReasonRR-NoReason é surpreendentemente mais eficaz que o ReasonRR. Ao examinar a causa desse resultado, nossas descobertas revelam que os rerankers baseados em raciocínio são limitados pelo processo de raciocínio do LLM, que o leva a atribuir pontuações de relevância polarizadas, falhando assim em considerar a relevância parcial das passagens, um fator crucial para a precisão dos rerankers pontuais.

English

With the growing success of reasoning models across complex natural language tasks, researchers in the Information Retrieval (IR) community have begun exploring how similar reasoning capabilities can be integrated into passage rerankers built on Large Language Models (LLMs). These methods typically employ an LLM to produce an explicit, step-by-step reasoning process before arriving at a final relevance prediction. But, does reasoning actually improve reranking accuracy? In this paper, we dive deeper into this question, studying the impact of the reasoning process by comparing reasoning-based pointwise rerankers (ReasonRR) to standard, non-reasoning pointwise rerankers (StandardRR) under identical training conditions, and observe that StandardRR generally outperforms ReasonRR. Building on this observation, we then study the importance of reasoning to ReasonRR by disabling its reasoning process (ReasonRR-NoReason), and find that ReasonRR-NoReason is surprisingly more effective than ReasonRR. Examining the cause of this result, our findings reveal that reasoning-based rerankers are limited by the LLM's reasoning process, which pushes it toward polarized relevance scores and thus fails to consider the partial relevance of passages, a key factor for the accuracy of pointwise rerankers.