証明からプログラムへ：大規模言語モデルにおけるツール誘発型推論幻覚の特性解明

要旨

ツール拡張言語モデル（TaLM）は、そのパラメトリックな能力を超える問題を解決するために外部ツールを呼び出すことができる。しかし、これらのツールによる精度向上が信頼できる推論を反映しているかどうかは不明である。本稿では、Code Interpreterツールに焦点を当て、ツールが正しく選択され実行された場合でも、TaLMがツール出力を推論の代替として扱い、一貫した正当性を欠くものの正しく見える解を生成することを示す。我々はこの失敗モードを「ツール誘発性近視（TIM）」と命名し、Pythonコードが有益ではあるが十分ではない1,679問の競技レベルの数学問題からなるベンチマークPYMATHを用いて調査する。さらに、ツール非使用時のモデルと比較してTaLMの推論能力の劣化を定量化する多次元評価スイートを開発した。その結果、TaLMは最終回答精度で最大19.3パーセントポイントの向上を達成する一方、その推論行動は一貫して悪化することが明らかになった（例：ツール非使用LLMが推論プロセスのペアワイズ比較で最大41.5%多く優位となる）。この劣化はツール使用頻度とともに顕著になり、モデルがツールを呼び出す頻度が高まるほど、その推論の一貫性は低下する。さらに、ツール使用は誤りを算術ミスから全体的な推論失敗（論理・仮定・創造性）へと移行させ、高リスクケースの約55%にTIMが存在する。最後に、ツールを補助的証拠として使用するようにTaLMを再調整する選好最適化ベースのフレームワークを提案し、ツール使用下での最終回答精度と推論の深さの両方を改善する。コードとデータはhttps://github.com/megagonlabs/TIM で公開されている。

English

Tool-augmented Language Models (TaLMs) can invoke external tools to solve problems beyond their parametric capacity. However, it remains unclear whether these tool-enabled gains reflect trustworthy reasoning. Focusing on the Code Interpreter tool, we show that even when tools are selected and executed correctly, TaLMs treat tool outputs as substitutes for reasoning, producing solutions that appear correct but lack coherent justification. We term this failure mode Tool-Induced Myopia (TIM), and study it using PYMATH, a benchmark of 1,679 competition-level mathematical problems for which Python code is helpful but not sufficient. We further develop a multi-dimensional evaluation suite to quantify reasoning degradation in TaLMs relative to their non-tool counterparts. Our findings reveal that while TaLMs achieve up to a 19.3 percentage point gain in final-answer accuracy, their reasoning behavior consistently deteriorates (e.g., non-tool LLMs win up to 41.5% more often in pairwise comparisons of the reasoning process). This degradation intensifies with tool use; the more frequently a model invokes tools, the less coherent its reasoning becomes. Moreover, tool use shifts errors from arithmetic mistakes toward global reasoning failures (logic, assumption, creativity); with TIM present in ~55% of high-risk cases. Finally, we propose a preference-optimization-based framework that realigns TaLMs to use tools as assistive evidence, improving both final-answer accuracy and reasoning depth under tool use. Codes and data are available at: https://github.com/megagonlabs/TIM.

証明からプログラムへ：大規模言語モデルにおけるツール誘発型推論幻覚の特性解明

From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models

要旨

Support