시각적 도구 사용의 환상: 이미지를 통한 사고에 대한 인과적 검증

초록

"이미지와 함께 사고하기" 패러다임은 다중모달 LLM에 크롭-및-확대(crop-and-zoom)와 같은 능동적 시각 연산을 장착한다. 그러나 이러한 연산을 사용하는 모델들은 직접 추론에 비해 상당히 높은 토큰 비용을 지불하면서도 미미하거나 오히려 부정적인 성능 향상만을 얻는 경우가 많다. 또한 관련 없는 영역을 반복적으로 크롭할 수 있으며, 직접 추론이 정확히 답하는 질문에 대해서는 실패하기도 한다. 우리는 반환된 시각 증거가 답변에 인과적으로 영향을 미치는지 묻는다. 이 질문에 답하기 위해, 우리는 시각 도구 사용을 관찰 매개 경로와 행동 유발 지름길(shortcut)을 분리하는 인과 그래프로 공식화한다. 그런 다음 정책(도구 사용과 직접 추론 비교), 궤적(롤아웃 중 모든 관찰 손상), 단계(고정된 접두사 하에서 개별 관찰을 반사실적으로 대체)의 세 수준에서 개입을 통해 이를 검증한다. 우리의 단계 수준 추정량인 시각 증거 이득(Visual Evidence Gain)은 각 반환 관찰의 기여도를 분리한다. 6개의 대표적 모델과 5개의 세밀한 지각 벤치마크에 걸쳐, 우리는 두 가지 실패 모드를 가진 정책 오보정(policy miscalibration)을 발견한다. "보지 않고 호출하기(Calling Without Looking)"에서 반환된 관찰은 답변에 인과적 효과가 없다. "계획 없이 보기(Looking Without Planning)"에서 관찰은 정보를 제공하지만 호출 일정이 비일관적이다. 궤적 수준 진단은 정책 수준의 정확도 향상을 분해하며, 그 향상이 보정된 소수(Calibrated minority)에 집중되어 있음을 보여준다. 우리는 이러한 불일치를 시각 도구 사용의 환상(illusion of visual tool-use)이라 명명한다: 총체적 정확도 향상에도 불구하고, 시각 도구 사용은 광범위한 롤아웃에 걸쳐 인과적으로 효과적이지 않다. 코드는 https://github.com/OpenCausaLab/CauAudit 에서 확인할 수 있다.

English

The "thinking-with-images" paradigm equips multimodal LLMs with active visual operations such as crop-and-zoom. However, models using these operations often achieve only marginal or negative gains over direct inference at substantially higher token cost. They may also repeatedly crop irrelevant regions and fail on questions that direct inference answers correctly. We ask whether the returned visual evidence causally affects the answer. To answer this question, we formulate visual tool-use as a causal graph that separates observation-mediated paths from action-induced shortcuts. We then audit it through interventions at the three levels: policy (comparing tool-use with direct inference), trajectory (corrupting all observations during rollout), and step (counterfactually replacing one individual observation under a fixed prefix). Our step-level estimand, Visual Evidence Gain, isolates the contribution of each returned observation. Across six representative models and five fine-grained perception benchmarks, we uncover policy miscalibration with two failure modes. In Calling Without Looking, returned observations have no causal effect on the answer. In Looking Without Planning, observations are informative but the call schedule is incoherent. A trajectory-level diagnostic decomposes the policy-level accuracy gain and shows that the gain is concentrated in a Calibrated minority. We term this discrepancy the illusion of visual tool-use: despite aggregate accuracy gains, visual tool-use is not causally effective across a broad range of rollouts. The code is available at https://github.com/OpenCausaLab/CauAudit.