Van Token naar Actie: Redeneren met Toestandsmachines om Overdenken te Verminderen in Informatie Retrieval

From Token to Action: State Machine Reasoning to Mitigate Overthinking in Information Retrieval

May 29, 2025

Auteurs: Dohyeon Lee, Yeonseok Jeong, Seung-won Hwang

cs.AI

Samenvatting

Chain-of-Thought (CoT) prompting maakt complex redeneren mogelijk in grote taalmodel(len) (LLM's), inclusief toepassingen in informatiezoeken (IR). Het leidt echter vaak tot overdenken, waarbij modellen excessief lange en semantisch redundante sporen produceren met weinig of geen voordeel. We identificeren twee belangrijke uitdagingen in IR: redundante trajecten die vergelijkbare staten opnieuw bezoeken en misleidend redeneren dat afwijkt van de gebruikersintentie. Om deze problemen aan te pakken, stellen we State Machine Reasoning (SMR) voor, een transitiegebaseerd redeneerkader bestaande uit discrete acties (Verfijnen, Herrangschikken, Stoppen) die vroegtijdig stoppen en fijnmazige controle ondersteunen. Experimenten op de BEIR- en BRIGHT-benchmarks tonen aan dat SMR de zoekprestaties (nDCG@10) met 3,4% verbetert terwijl het tokengebruik met 74,4% wordt verminderd. Het generaliseert over LLM's en zoeksystemen zonder taakspecifieke afstemming te vereisen, en biedt zo een praktisch alternatief voor conventioneel CoT-redeneren. De code en details zijn beschikbaar op https://github.com/ldilab/SMR.

English

Chain-of-Thought (CoT) prompting enables complex reasoning in large language models (LLMs), including applications in information retrieval (IR). However, it often leads to overthinking, where models produce excessively long and semantically redundant traces with little or no benefit. We identify two key challenges in IR: redundant trajectories that revisit similar states and misguided reasoning that diverges from user intent. To address these, we propose State Machine Reasoning (SMR), a transition-based reasoning framework composed of discrete actions (Refine, Rerank, Stop) that support early stopping and fine-grained control. Experiments on the BEIR and BRIGHT benchmarks show that SMR improves retrieval performance (nDCG@10) by 3.4% while reducing token usage by 74.4%. It generalizes across LLMs and retrievers without requiring task-specific tuning, offering a practical alternative to conventional CoT reasoning. The code and details are available at https://github.com/ldilab/SMR.