想像力は視覚的推論を助けるが、潜在空間ではまだ限界がある

Imagination Helps Visual Reasoning, But Not Yet in Latent Space

February 26, 2026

著者: You Li, Chi Chen, Yanghao Li, Fanhu Zeng, Kaiyu Huang, Jinan Xu, Maosong Sun

cs.AI

要旨

潜在視覚推論は、マルチモーダル大規模言語モデルの隠れ状態を媒介として、人間の想像プロセスを模倣することを目指している。視覚推論における有望なパラダイムとして認識されながらも、その有効性を支える根本的なメカニズムは未解明のままであった。本論文では、この有効性の真の源を解明するため、因果媒介分析を用いて潜在推論の妥当性を検証する。当該プロセスを「入力＝処置」「潜在トークン＝媒介変数」「最終回答＝結果」から成る因果連鎖としてモデル化した。分析結果から二つの重大な断絶が明らかになった：(a) 入力-潜在間の断絶：入力への大幅な摂動にもかかわらず潜在トークンの変化は無視可能であり、潜在トークンが入力系列を効果的に注目していないことを示唆。(b) 潜在-回答間の断絶：潜在トークンへの摂動が最終回答に与える影響は極めて小さく、潜在トークンが結果に及ぼす因果的効果が限定的であることを示唆。さらに詳細なプロービング分析により、潜在トークンが符号化する視覚情報は限定的であり、高い類似性を示すことが判明した。これらを踏まえ、我々は潜在推論の必要性に疑問を投げかけ、テキストを用いた明示的想像をモデルに学習させる新手法「CapImagine」を提案する。視覚中心ベンチマークでの実験により、CapImagineが複雑な潜在空間ベースライン手法を大幅に上回り、明示的想像を通じた視覚推論の優れた可能性が実証された。

English

Latent visual reasoning aims to mimic human's imagination process by meditating through hidden states of Multimodal Large Language Models. While recognized as a promising paradigm for visual reasoning, the underlying mechanisms driving its effectiveness remain unclear. Motivated to demystify the true source of its efficacy, we investigate the validity of latent reasoning using Causal Mediation Analysis. We model the process as a causal chain: the input as the treatment, the latent tokens as the mediator, and the final answer as the outcome. Our findings uncover two critical disconnections: (a) Input-Latent Disconnect: dramatic perturbations on the input result in negligible changes to the latent tokens, suggesting that latent tokens do not effectively attend to the input sequence. (b) Latent-Answer Disconnect: perturbations on the latent tokens yield minimal impact on the final answer, indicating the limited causal effect latent tokens imposing on the outcome. Furthermore, extensive probing analysis reveals that latent tokens encode limited visual information and exhibit high similarity. Consequently, we challenge the necessity of latent reasoning and propose a straightforward alternative named CapImagine, which teaches the model to explicitly imagine using text. Experiments on vision-centric benchmarks show that CapImagine significantly outperforms complex latent-space baselines, highlighting the superior potential of visual reasoning through explicit imagination.