視覚的ツール使用の錯覚：画像を用いた思考の因果監査

要旨

「イメージを用いた思考」パラダイムは、マルチモーダルLLMに対して、切り抜きと拡大（クロップアンドズーム）などの能動的な視覚操作を付与するものである。しかし、これらの操作を用いるモデルは、直接推論と比較してわずかな改善しか得られないか、場合によっては悪化することもあり、しかもトークンコストは大幅に増加する。また、無関係な領域を繰り返し切り抜いたり、直接推論では正しく答えられる質問に失敗したりすることもある。本研究では、返された視覚的証拠が答えに因果的に影響を与えるのかどうかを問う。この問いに答えるため、視覚的ツール使用を、観測を媒介する経路と行動によって引き起こされる近道（ショートカット）を分離する因果グラフとして定式化する。次に、この因果グラフを3つのレベルでの介入、すなわちポリシー（ツール使用と直接推論の比較）、軌跡（ロールアウト中の全観測の破壊）、ステップ（固定プレフィックスの下での個々の観測の反事実的置換）を通じて監査する。ステップレベルの推定対象である視覚エビデンス利得（Visual Evidence Gain）は、各返された観測の寄与を分離する。6つの代表的モデルと5つの細粒度知覚ベンチマークにわたって、2つの失敗モードを伴うポリシーの誤較正を発見した。「見ずに呼び出す」（Calling Without Looking）では、返された観測は答えに対して因果的効果を持たない。「計画せずに見る」（Looking Without Planning）では、観測は有益であるものの、呼び出しスケジュールに一貫性がない。軌跡レベルの診断はポリシーレベルの精度向上を分解し、その向上が「較正された少数派」に集中していることを示す。本稿では、この不一致を視覚ツール使用の錯覚と呼ぶ。つまり、全体としては精度が向上するにもかかわらず、視覚ツール使用は広範囲のロールアウトにわたって因果的に有効ではないのである。コードはhttps://github.com/OpenCausaLab/CauAuditで公開されている。

English

The "thinking-with-images" paradigm equips multimodal LLMs with active visual operations such as crop-and-zoom. However, models using these operations often achieve only marginal or negative gains over direct inference at substantially higher token cost. They may also repeatedly crop irrelevant regions and fail on questions that direct inference answers correctly. We ask whether the returned visual evidence causally affects the answer. To answer this question, we formulate visual tool-use as a causal graph that separates observation-mediated paths from action-induced shortcuts. We then audit it through interventions at the three levels: policy (comparing tool-use with direct inference), trajectory (corrupting all observations during rollout), and step (counterfactually replacing one individual observation under a fixed prefix). Our step-level estimand, Visual Evidence Gain, isolates the contribution of each returned observation. Across six representative models and five fine-grained perception benchmarks, we uncover policy miscalibration with two failure modes. In Calling Without Looking, returned observations have no causal effect on the answer. In Looking Without Planning, observations are informative but the call schedule is incoherent. A trajectory-level diagnostic decomposes the policy-level accuracy gain and shows that the gain is concentrated in a Calibrated minority. We term this discrepancy the illusion of visual tool-use: despite aggregate accuracy gains, visual tool-use is not causally effective across a broad range of rollouts. The code is available at https://github.com/OpenCausaLab/CauAudit.