От доказательства к программе: характеристика галлюцинаций рассуждений, вызванных инструментами, в больших языковых моделях

From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models

November 14, 2025

Авторы: Farima Fatahi Bayat, Pouya Pezeshkpour, Estevam Hruschka

cs.AI

Аннотация

Языковые модели с инструментальным расширением (TaLMs) способны вызывать внешние инструменты для решения задач, выходящих за пределы их параметрических возможностей. Однако остается неясным, отражают ли эти преимущества, обеспечиваемые инструментами, достоверные рассуждения. Сосредоточившись на инструменте Code Interpreter, мы показываем, что даже при корректном выборе и выполнении инструментов TaLMs рассматривают их выводы как замену рассуждениям, производя решения, которые кажутся правильными, но лишены последовательного обоснования. Мы называем этот тип сбоя **инструментальной миопией (Tool-Induced Myopia, TIM)** и исследуем его с помощью PYMATH — набора из 1679 математических задач уровня соревнований, для которых код на Python полезен, но недостаточен. Мы также разрабатываем многомерную систему оценки для количественного измерения деградации рассуждений в TaLMs по сравнению с их аналогами без инструментов. Наши результаты показывают, что хотя TaLMs демонстрируют прирост точности итогового ответа до 19.3 процентных пунктов, качество их рассуждений последовательно ухудшается (например, в парных сравнениях процесса рассуждения LLMs без инструментов побеждают до 41.5% чаще). Эта деградация усиливается с использованием инструментов: чем чаще модель вызывает инструменты, тем менее связными становятся ее рассуждения. Более того, использование инструментов смещает ошибки с арифметических погрешностей в сторону глобальных сбоев рассуждений (логика, предположения, креативность); TIM наблюдается примерно в ~55% случаев с высоким риском. Наконец, мы предлагаем основанную на оптимизации предпочтений структуру, которая переориентирует TaLMs на использование инструментов в качестве вспомогательных доказательств, улучшая как точность итогового ответа, так и глубину рассуждений при работе с инструментами. Код и данные доступны по адресу: https://github.com/megagonlabs/TIM.

English

Tool-augmented Language Models (TaLMs) can invoke external tools to solve problems beyond their parametric capacity. However, it remains unclear whether these tool-enabled gains reflect trustworthy reasoning. Focusing on the Code Interpreter tool, we show that even when tools are selected and executed correctly, TaLMs treat tool outputs as substitutes for reasoning, producing solutions that appear correct but lack coherent justification. We term this failure mode Tool-Induced Myopia (TIM), and study it using PYMATH, a benchmark of 1,679 competition-level mathematical problems for which Python code is helpful but not sufficient. We further develop a multi-dimensional evaluation suite to quantify reasoning degradation in TaLMs relative to their non-tool counterparts. Our findings reveal that while TaLMs achieve up to a 19.3 percentage point gain in final-answer accuracy, their reasoning behavior consistently deteriorates (e.g., non-tool LLMs win up to 41.5% more often in pairwise comparisons of the reasoning process). This degradation intensifies with tool use; the more frequently a model invokes tools, the less coherent its reasoning becomes. Moreover, tool use shifts errors from arithmetic mistakes toward global reasoning failures (logic, assumption, creativity); with TIM present in ~55% of high-risk cases. Finally, we propose a preference-optimization-based framework that realigns TaLMs to use tools as assistive evidence, improving both final-answer accuracy and reasoning depth under tool use. Codes and data are available at: https://github.com/megagonlabs/TIM.