L'immaginazione aiuta il ragionamento visivo, ma non ancora nello spazio latente
Imagination Helps Visual Reasoning, But Not Yet in Latent Space
February 26, 2026
Autori: You Li, Chi Chen, Yanghao Li, Fanhu Zeng, Kaiyu Huang, Jinan Xu, Maosong Sun
cs.AI
Abstract
Il ragionamento visivo latente mira a imitare il processo di immaginazione umana meditando attraverso gli stati nascosti dei Modelli Linguistici Multimodali di Grande Dimensione. Sebbene riconosciuto come un paradigma promettente per il ragionamento visivo, i meccanismi sottostanti che ne guidano l'efficacia rimangono poco chiari. Spinti dalla volontà di demistificare la vera fonte della sua efficacia, indaghiamo la validità del ragionamento latente utilizzando l'Analisi di Mediazione Causale. Modelliamo il processo come una catena causale: l'input come trattamento, i token latenti come mediatore e la risposta finale come esito. I nostri risultati rivelano due disconnessioni critiche: (a) Disconnessione Input-Latente: perturbazioni drammatiche sull'input producono cambiamenti trascurabili nei token latenti, suggerendo che i token latenti non prestano effettivamente attenzione alla sequenza di input. (b) Disconnessione Latente-Risposta: perturbazioni sui token latenti hanno un impatto minimo sulla risposta finale, indicando il limitato effetto causale che i token latenti impongono sull'esito. Inoltre, un'ampia analisi di probing rivela che i token latenti codificano informazioni visive limitate ed esibiscono un'elevata similarità. Di conseguenza, mettiamo in discussione la necessità del ragionamento latente e proponiamo un'alternativa semplice denominata CapImagine, che insegna al modello a immaginare esplicitamente usando il testo. Esperimenti su benchmark incentrati sulla visione mostrano che CapImagine supera significativamente le complesse baseline nello spazio latente, evidenziando il potenziale superiore del ragionamento visivo attraverso l'immaginazione esplicita.
English
Latent visual reasoning aims to mimic human's imagination process by meditating through hidden states of Multimodal Large Language Models. While recognized as a promising paradigm for visual reasoning, the underlying mechanisms driving its effectiveness remain unclear. Motivated to demystify the true source of its efficacy, we investigate the validity of latent reasoning using Causal Mediation Analysis. We model the process as a causal chain: the input as the treatment, the latent tokens as the mediator, and the final answer as the outcome. Our findings uncover two critical disconnections: (a) Input-Latent Disconnect: dramatic perturbations on the input result in negligible changes to the latent tokens, suggesting that latent tokens do not effectively attend to the input sequence. (b) Latent-Answer Disconnect: perturbations on the latent tokens yield minimal impact on the final answer, indicating the limited causal effect latent tokens imposing on the outcome. Furthermore, extensive probing analysis reveals that latent tokens encode limited visual information and exhibit high similarity. Consequently, we challenge the necessity of latent reasoning and propose a straightforward alternative named CapImagine, which teaches the model to explicitly imagine using text. Experiments on vision-centric benchmarks show that CapImagine significantly outperforms complex latent-space baselines, highlighting the superior potential of visual reasoning through explicit imagination.