Van bewijs naar programma: het karakteriseren van door tools geïnduceerde redeneerhallucinaties in grote taalmodellen
From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models
November 14, 2025
Auteurs: Farima Fatahi Bayat, Pouya Pezeshkpour, Estevam Hruschka
cs.AI
Samenvatting
Tool-augmented Language Models (TaLMs) kunnen externe tools aanroepen om problemen op te lossen die buiten hun parametrische capaciteit vallen. Het blijft echter onduidelijk of deze door tools gegenereerde verbeteringen betrouwbare redenering weerspiegelen. Met de focus op de Code Interpreter-tool tonen we aan dat TaLMs, zelfs wanneer tools correct worden geselecteerd en uitgevoerd, tooluitvoer behandelen als vervanging voor redenering. Hierdoor produceren ze oplossingen die correct lijken, maar coherente rechtvaardiging missen. We noemen deze faalmodus Tool-Induced Myopia (TIM) en bestuderen deze met behulp van PYMATH, een benchmark met 1.679 wiskundige problemen op competitieniveau waarvoor Python-code nuttig maar niet voldoende is. We ontwikkelen verder een multidimensionale evaluatiesuite om de achteruitgang in redenering bij TaLMs te kwantificeren in vergelijking met hun tegenhangers zonder tools. Onze bevindingen onthullen dat hoewel TaLMs een verbetering tot 19,3 procentpunt in nauwkeurigheid van het eindantwoord bereiken, hun redeneergedrag consistent verslechtert (bijvoorbeeld: LLMs zonder tools winnen tot 41,5% vaker in paarsgewijze vergelijkingen van het redeneerproces). Deze achteruitgang intensiveert met toolgebruik; hoe vaker een model tools aanroept, hoe minder coherent zijn redenering wordt. Bovendien verschuift toolgebruik fouten van rekenkundige fouten naar globale redeneerfouten (logica, aannames, creativiteit); TIM is aanwezig in ~55% van de hoog-risicogevallen. Ten slotte stellen we een op voorkeursoptimalisatie gebaseerd framework voor dat TaLMs herpositioneert om tools als ondersteunend bewijs te gebruiken, waardoor zowel de nauwkeurigheid van het eindantwoord als de redeneerdiepte verbetert bij toolgebruik. Code en data zijn beschikbaar op: https://github.com/megagonlabs/TIM.
English
Tool-augmented Language Models (TaLMs) can invoke external tools to solve problems beyond their parametric capacity. However, it remains unclear whether these tool-enabled gains reflect trustworthy reasoning. Focusing on the Code Interpreter tool, we show that even when tools are selected and executed correctly, TaLMs treat tool outputs as substitutes for reasoning, producing solutions that appear correct but lack coherent justification. We term this failure mode Tool-Induced Myopia (TIM), and study it using PYMATH, a benchmark of 1,679 competition-level mathematical problems for which Python code is helpful but not sufficient. We further develop a multi-dimensional evaluation suite to quantify reasoning degradation in TaLMs relative to their non-tool counterparts. Our findings reveal that while TaLMs achieve up to a 19.3 percentage point gain in final-answer accuracy, their reasoning behavior consistently deteriorates (e.g., non-tool LLMs win up to 41.5% more often in pairwise comparisons of the reasoning process). This degradation intensifies with tool use; the more frequently a model invokes tools, the less coherent its reasoning becomes. Moreover, tool use shifts errors from arithmetic mistakes toward global reasoning failures (logic, assumption, creativity); with TIM present in ~55% of high-risk cases. Finally, we propose a preference-optimization-based framework that realigns TaLMs to use tools as assistive evidence, improving both final-answer accuracy and reasoning depth under tool use. Codes and data are available at: https://github.com/megagonlabs/TIM.