L'imagination facilite le raisonnement visuel, mais pas encore dans l'espace latent.
Imagination Helps Visual Reasoning, But Not Yet in Latent Space
February 26, 2026
Auteurs: You Li, Chi Chen, Yanghao Li, Fanhu Zeng, Kaiyu Huang, Jinan Xu, Maosong Sun
cs.AI
Résumé
Le raisonnement visuel latent vise à imiter le processus d'imagination humaine en méditant à travers les états cachés des modèles de langage multimodaux de grande taille. Bien que reconnu comme un paradigme prometteur pour le raisonnement visuel, les mécanismes sous-jacents qui expliquent son efficacité restent flous. Motivés par la volonté de démystifier la véritable source de son efficacité, nous étudions la validité du raisonnement latent à l'aide de l'analyse de médiation causale. Nous modélisons le processus comme une chaîne causale : l'entrée comme traitement, les tokens latents comme médiateurs et la réponse finale comme résultat. Nos découvertes mettent en évidence deux déconnexions critiques : (a) Déconnexion Entrée-Latent : des perturbations importantes sur l'entrée entraînent des changements négligeables sur les tokens latents, suggérant que les tokens latents n'accordent pas une attention effective à la séquence d'entrée. (b) Déconnexion Latent-Réponse : les perturbations sur les tokens latents ont un impact minimal sur la réponse finale, indiquant l'effet causal limité que les tokens latents exercent sur le résultat. De plus, une analyse approfondie par sondage révèle que les tokens latents encodent une information visuelle limitée et présentent une similarité élevée. Par conséquent, nous remettons en question la nécessité du raisonnement latent et proposons une alternative simple nommée CapImagine, qui apprend au modèle à imaginer explicitement en utilisant du texte. Les expériences sur des benchmarks centrés sur la vision montrent que CapImagine surpasse significativement les modèles de référence complexes dans l'espace latent, soulignant le potentiel supérieur du raisonnement visuel par l'imagination explicite.
English
Latent visual reasoning aims to mimic human's imagination process by meditating through hidden states of Multimodal Large Language Models. While recognized as a promising paradigm for visual reasoning, the underlying mechanisms driving its effectiveness remain unclear. Motivated to demystify the true source of its efficacy, we investigate the validity of latent reasoning using Causal Mediation Analysis. We model the process as a causal chain: the input as the treatment, the latent tokens as the mediator, and the final answer as the outcome. Our findings uncover two critical disconnections: (a) Input-Latent Disconnect: dramatic perturbations on the input result in negligible changes to the latent tokens, suggesting that latent tokens do not effectively attend to the input sequence. (b) Latent-Answer Disconnect: perturbations on the latent tokens yield minimal impact on the final answer, indicating the limited causal effect latent tokens imposing on the outcome. Furthermore, extensive probing analysis reveals that latent tokens encode limited visual information and exhibit high similarity. Consequently, we challenge the necessity of latent reasoning and propose a straightforward alternative named CapImagine, which teaches the model to explicitly imagine using text. Experiments on vision-centric benchmarks show that CapImagine significantly outperforms complex latent-space baselines, highlighting the superior potential of visual reasoning through explicit imagination.